HN
Hacker News • 54일 전
숫자 없는 수학: LLM은 어떻게 수학을 할까?
IMP 6/10
핵심 요약
LLM(대형 언어 모델)이 실제로 숫자를 계산하는 것이 아니라, 수학적 연산과 피연산자를 벡터 형태로 인코딩하여 처리한다는 사실을 탐구한 글입니다. 외부 프로브(probe)를 모델의 은닉 벡터에 투입해 훈련시키면 '이 연산이 GCD(최대공약수)인가?' 또는 '피연산자가 84인가?'와 같은 질문에 정확히 대답할 수 있음을 보여줍니다. 이는 모델의 행동을 직접 유도한 것은 아니지만, 모델 내부에 수학적 정보가 읽기 가능한 형태로 존재한다는 것을 증명합니다.
번역된 본문
gcd(84, 36)을 탐색(probe)하는 과정은 이미 모델 내부에 벡터로 존재합니다. 작은 리드아웃(readout)이 이 연산과 숫자들을 복원할 수 있을까요? 은닉 벡터는 오직 dot op=gcd a=84 b=36으로 디코딩된 인수들만을 가집니다.
프로브(probe)는 외부 측정 도구입니다. 우리는 모델을 동결시키고(freeze), 활성화 벡터(activation vectors)를 수집한 뒤, '이것이 최대공약수(gcd) 연산인가?' 혹은 '피연산자 A가 84와 같은가?'와 같은 질문에 답하기 위해 작은 리드아웃(readout)을 훈련시킵니다.
이는 정보가 읽기 가능하다는 것을 보여줍니다. 하지만 이러한 방향성이 모델의 실제 동작을 유발했다는 것을 보여주는 것은 아닙니다.
원문 보기 (영어)
Probe gcd(84, 36) is already inside the model as vectors. Can a small readout recover the operation and numbers? hidden vector only dot op=gcd a=84 b=36 decoded arguments A probe is an external measuring instrument. We freeze the model, collect activation vectors, and train a small readout to answer questions such as "is this gcd?" or "is operand A equal to 84?" Shows: information is readable. Does not show: the direction caused the model's behavior.