메뉴

#LLM 해석가능성

HN
Hacker News • 17일 전
IMP 5

LLM 어텐션(주의 메커니즘) 시각화 도구 공개

해커뉴스에 트랜스포머 기반 LLM의 어텐션 가중치를 시각화하는 웹 도구가 공개되었습니다. 생성된 토큰에 마우스를 올리면 어떤 이전 토큰이 생성에 영향을 미쳤는지 확인할 수 있어, LLM이 복사-붙여넣기에 강한 이유를 직관적으로 이해할 수 있습니다. Transformers.js를 활용해 브라우저에서 동작하며, ONNX 모델을 수정해 내부 어텐션 값을 노출시킨 것이 기술적 포인트입니다.

어텐션 시각화 트랜스포머 LLM 해석가능성
HN
Hacker News • 113일 전
IMP 6

숫자 없는 수학: LLM은 어떻게 수학을 할까?

LLM(대형 언어 모델)이 실제로 숫자를 계산하는 것이 아니라, 수학적 연산과 피연산자를 벡터 형태로 인코딩하여 처리한다는 사실을 탐구한 글입니다. 외부 프로브(probe)를 모델의 은닉 벡터에 투입해 훈련시키면 '이 연산이 GCD(최대공약수)인가?' 또는 '피연산자가 84인가?'와 같은 질문에 정확히 대답할 수 있음을 보여줍니다. 이는 모델의 행동을 직접 유도한 것은 아니지만, 모델 내부에 수학적 정보가 읽기 가능한 형태로 존재한다는 것을 증명합니다.

인공지능 연구 LLM 해석가능성 수학적 추론