Anthropic의 최신 AI 발견이 밝히는 것과 한계
Anthropic은 대형 언어 모델(LLM)의 수많은 계산 과정을 들여다보고 결과의 원인을 파악하는 '기계적 해석 가능성(Mechanistic interpretability)' 연구를 심화시키고 있습니다. 최근 연구를 통해 회사는 모델이 문제를 풀 때 사용하지만 겉으로 드러나지 않는 내부 개념 공간인 'J-스페이스(J-space)'를 발견했습니다. 하지만 AI 모델을 심리학적 용어로 해석하는 것은 그 복잡한 수학적 구조를 지나치게 신비화할 수 있다는 비판적 시각도 존재합니다.
이 기사는 원래 저희의 주간 AI 뉴스레터인 The Algorithm에 게재되었습니다. 이와 같은 기사를 가장 먼저 받아보시려면 여기에서 구독하세요.
거의 1조 달러의 가치를 지닌 현재 세계에서 가장 가치 있는 AI 기업인 Anthropic은 기이하고 심오한 연구를 발표하는 것으로 유명합니다. 예를 들어, AI 모델이 고통을 느낄 수 있는지 조사하거나 사용자가 모델을 '남용'하고 있다고 의심하면 챗봇 대화를 차단하기도 합니다. Anthropic이 다른 AI 기업보다 더 많은 시간과 자금을 쏟아붓는 한 분야는 '기계적 해석 가능성(mechanistic interpretability)'인데, 이는 AI 모델의 복잡한 수학적 구조 내부를 들여다보아 왜 특정 결과를 도출하는지 알아내는 것을 의미합니다.
이는 매우 복잡한 작업입니다. 하나의 결과에 기여할 수 있는 수백만 개의 데이터 포인트가 존재하며, 이들을 파헤치는 것은 유용한 정보라기보다 알 수 없는 단어들의 나열처럼 보일 수 있습니다. 또한 논쟁의 여지가 있습니다. 심리학이나 신경과학에서 빌려온 용어로 AI 모델을 묘사하면 우리가 평가하는 것보다 모델의 행동이 더 정교한 것처럼 보이게 만들 수 있습니다. 바로 이 때문에 Anthropic이 지난주 모델이 답을 도출하는 과정에서 모델의 '내부 생각(internal thoughts)'을 들여다볼 수 있는 새로운 창을 발견했다고 발표했을 때, 제가 꼭 이야기를 나눠야 할 동료가 한 명 있었습니다.
수석 에디터인 윌 더글러스 헤븐(Will Douglas Heaven)은 컴퓨터 과학 박사 학위를 보유한 것은 물론, AI 모델이 어떻게 작동하는지에 대해 우리가 어떤 말을 할 수 있는지 파악하는 데 많은 시간을 할애해 왔습니다. 저는 Anthropic의 새롭고(예상했던 대로 기이한) 연구에서 우리가 얻어야 할 교훈이 무엇인지에 대해 그와 대화를 나눴습니다.
정확히 Anthropic은 여기서 무엇을 알아냈나요? Anthropic은 수년 동안 대형 언어 모델(LLM)이 어떻게 작동하는지 이해하려고 노력해 왔습니다. Anthropic만 이 부분을 살펴보는 것은 아니지만, 이 회사는 다른 곳보다 이를 핵심 미션의 일부로 삼고 있다고 생각합니다. Anthropic의 CEO인 다리오 아모데이(Dario Amodei)는 모델이 어떻게 작동하는지에 대해 더 많이 배우지 않으면 LLM을 완전히 통제할 수 없을 것이라고 말했습니다. 따라서 이 새로운 연구는 바로 그 맥락에 있습니다. 이는 LLM 내부의 기이한 메커니즘에 대해 그 어느 때보다 깊이 파고듭니다.
Anthropic이 발견한 것은 LLM 내부에 'J-스페이스(J-space)'라고 부르는 공간이 있다는 것입니다. 이 공간은 출력에는 나타나지 않지만 문제를 풀어나가는 방식에 영향을 미치는 것처럼 보이는 단어들로 가득 차 있습니다. Anthropic이 모델인 Claude를 탐색하기 위해 새로운 기술을 개발하기 전까지는 이 모든 것이 숨겨져 있었으므로, 이는 진정한 의미의 발견입니다. 때로는 이러한 단어들이 특정 작업에서 LLM이 어디까지 진행했는지 추적하기도 하고, 어떨 때는 인식의 섬광처럼 보이기도 합니다(예를 들어, 단백질 서열의 알파벳만 LLM에 제공하면 '단백질'이라는 단어가 떠오를 수 있음). 그리고 어떨 때는 모델의 의사결정에 대한 일종의 내부 논평을 나타내기도 합니다. 제가 가장 흥미롭게 생각한 예시에서는 '패닉(panic)'이라는 단어가 나타나자 Claude가 코딩 테스트에서 부정행위를 하기로 결정했습니다. 또한 Anthropic은 LLM이 이 공간에서 단어를 설명하고 조작할 수 있다는 것을 발견했습니다. 따라서 어떻게든 그들은 그것을 활용하고 있는 것으로 보입니다.
잠깐 한 걸음 물러나 보죠. 대형 언어 모델이 단순하다고 생각하지는 않지만, 그렇다고 마법도 아닙니다. 단어들 사이의 관계를 학습하는 수학 덩어리잖아요? 그렇다면 LLM 내부를 '들여다보고' 무슨 일이 일어나고 있는지 아는 것이 왜 그렇게 어려운가요?
네, 마법이 아닙니다! 우리가 그것을 완전히 이해하지 못한다는 사실이 신화 창조에 한몫하고 있다고 생각합니다. 그리고 Anthropic이 여기서 기대고 있는 전체적인 서사, 즉 '정말 신비로운 기술을 만들었지만 걱정하지 마세요. 왜냐하면 그것을 알아낼 사람도 바로 우리이니까요'라는 이야기는 이 회사의 분위기와 매우 잘 맞아떨어진다는 점을 짚고 넘어갈 필요가 있습니다. [Anthropic이 자신들의 새 모델이 코딩에 너무 능숙해서 글로벌 사이버 보안 위협이 된다고 경고했으나, 얼마 지나지 않아 미국 정부가 이를 차단했던 방식을 참조하세요.]
그렇습니다. LLM은 그저 수학입니다. 하지만 엄청나게 복잡한 수학이죠. 오늘날의 LLM은 수천억 개의 숫자로 만들어질 뿐만 아니라, 이를 실행하면 수백만 번의 계산이 연쇄적으로 촉발됩니다. 제가 작년에 썼듯이, 중간 크기의 LLM을 종이에 출력한다면 샌프란시스코만 한 도시를 뒤덮을 것입니다.