#인공신경망

숫자 없는 수학: LLM은 어떻게 수학을 할까?

LLM(대형 언어 모델)이 실제로 숫자를 계산하는 것이 아니라, 수학적 연산과 피연산자를 벡터 형태로 인코딩하여 처리한다는 사실을 탐구한 글입니다. 외부 프로브(probe)를 모델의 은닉 벡터에 투입해 훈련시키면 '이 연산이 GCD(최대공약수)인가?' 또는 '피연산자가 84인가?'와 같은 질문에 정확히 대답할 수 있음을 보여줍니다. 이는 모델의 행동을 직접 유도한 것은 아니지만, 모델 내부에 수학적 정보가 읽기 가능한 형태로 존재한다는 것을 증명합니다.

신경망과 암호화 알고리즘이 놀라울 정도로 비슷한 이유

언뜻 보기에 전혀 다른 분야인 인공신경망과 대칭키 암호화 알고리즘이, 기저에 깔린 구조와 작동 방식이 매우 유사하다는 흥미로운 분석입니다. 두 분야 모두 순차적 및 병렬적 시퀀스 처리 방식, 선형과 비선형 레이어의 교차 반복, 그리고 행과 열을 교차 혼합(Mixing)하여 성능을 극대화하는 구조를 공유합니다. 이는 두 분야가 서로 아이디어를 베낀 것이 아니라, 약한 정확성 요구사항과 하드웨어 최적화라는 동일한 근본적 문제 해결 과정에서 자연스럽게 수렴 진화했기 때문입니다.