'에이지 오브 엠파이어 2' 염소로 AI 만든 마소 연구원
마이크로소프트 연구원이 '에이지 오브 엠파이어 2' 맵 에디터 내에서 염소를 활용해 실제 작동하는 신경망을 구현했습니다. 이는 언어 모델(LLM)에 인간과 같은 감정이나 자아가 있다고 가정하는 현재의 AI 연구 트렌드를 비판하기 위한 일종의 사고 실험입니다. 연구자는 AI가 인간처럼 보이는 것은 단지 포장(UI와 언어)의 결과일 뿐이며, 이러한 의인화 오류가 최근 AI 논문의 절반 이상에서 나타나고 있다고 지적합니다.
원문 제목: '에이지 오브 엠파이어 2' 안의 염소로 작동하는 신경망을 구축하여 AI 과학을 비판하는 마이크로소프트 연구원
마이크로소프트와 요크대학교(University of York)의 연구원인 에드리안 데 윈터(Adrian de Wynter)는 전설적인 전략 게임인 '에이지 오브 엠파이어 2(Age of Empires II)'의 맵 에디터 안에 실제 작동하는 신경망(neural network)을 구축했습니다. 이는 농담처럼 들리지만, 사실 언어 모델에 대한 상당수의 AI 연구에서 사용되는 방법론에 대한 심각한 비판을 담고 있습니다.
이 디자인은 완전히 말도 안 됩니다. 염소가 비트 역할을 합니다. 즉, 풀밭에 서 있는 염소는 0이고, 다리 위에 서 있는 염소는 1입니다. 데 윈터는 시나리오 에디터의 스크립팅 툴을 사용하여 논리 게이트(logic gates)를 구축했고, 계산이 꼬이지 않도록 염소들이 대기하는 얼음 경사로를 활용했습니다. 완성된 미니 신경망은 두 개의 XNOR 게이트와 하나의 AND 게이트로 구성되며, 논리곱(AND) 기능을 학습합니다.
부록에서 데 윈터는 한 걸음 더 나아갑니다. 그는 이론적으로 이 게임의 이상화된 버전을 사용하여 모든 컴퓨터를 복제할 수 있음을 보여주는데, 이는 곧 이 게임이 완벽한 컴퓨터만큼이나 강력하다는 것을 의미합니다. 이를 가능하게 하는 것은 게임 메커니즘의 기발함입니다. 게임 내 시장에서는 자원을 금으로 교환할 수 있으며 가격 상한선이 9,999로 정해져 있습니다. 논문에 따르면, 이를 통해 건물은 메모리 셀로, 활성화된 농장은 현재 계산 상태로 작용하는 영구적으로 실행되는 경제 주기가 가능해집니다.
대규모 언어 모델이 된 '보스턴 대도시권' 데 윈터는 에이지 오브 엠파이어 2 안에서 언어 모델을 재구성할 수 있다면, 레고 블록으로도 같은 일을 할 수 있을 것이라고 주장합니다. 아니면 보스턴 대도시권(Greater Boston)에 사는 66만 7천 명의 사람들이 휴대폰으로 서로 계산 단계를 문자 메시지로 보내게 해도 됩니다. 그 결과 도출된 답은 기존 언어 모델에서 나온 것과 동일할 것입니다.
데 윈터는 이 사고 실험을 통해, 이러한 속성 부여가 얼마나 근거 없는 것인지 보여주고자 합니다. 도시 거주민들이 우연히 언어 모델의 수학적 계산을 수행하고 있다고 해서 보스턴이라는 도시가 공감이나 두려움을 느낀다고 주장할 사람이 있을까요?
이것이 핵심입니다. 챗봇이 인간처럼 느껴지는 정도는 전적으로 '포장'의 문제입니다. 즉, 낮은 지연 시간, 매끄러운 언어 구사, 그리고 사람들이 익숙해진 채팅 창입니다. 이 포장지를 미로를 배회하는 염소들로 바꾸더라도 입력과 출력은 변하지 않습니다. 단지 '누군가와 대화하고 있다'는 느낌만 사라질 뿐입니다.
데 윈터는 모델이 내부적으로 실제로 그런 특성을 가지고 있는지 안다고 주장하는 것은 아닙니다. 그가 말하고자 하는 요지는 대규모 언어 모델(LLM) 자체가 특별한 존재가 아니라는 것입니다. 그것들은 특정 종류의 수학을 실행하는 한 가지 방법일 뿐이며, 우연히 사람들이 대화하고 싶어 하는 대상처럼 보일 뿐입니다.
조사된 논문의 절반 이상이 이 실수를 범해 데 윈터는 이것이 일부 극단적인 사례가 아님을 보여주기 위해, 2024년 중반부터 2026년 중반까지 Semantic Scholar와 arXiv에서 수집하고 GPT-5.2를 통해 필터링한 315편의 AI 논문을 분석했습니다.
분석에 따르면, 논문의 57%가 이미 전제 단계에서 LLM이 인간과 유사한 특성을 가지고 있다고 가정하고 있었습니다. 36%는 이에 부합하는 결론에 도달했습니다. 이러한 특성을 실제 연구 주제로 삼은 47편의 논문 중에서는 77%가 의인화된 속성을 지지하는 결론을 내렸습니다.
이러한 비판의 핵심은 논리적 정합성입니다. 만약 연구자가 모델이 두려움이나 도덕성, 자아 인식을 가지고 있다고 가정한 뒤, 정확히 그 특성을 증명하기 위한 실험을 설계한다면 그 추론은 순환 논리에 빠지게 됩니다. 전제와 결과가 동일한 논리적 지점에 도달하는 것입니다. 실험 결과가 부정적으로 나오더라도, 전제가 잘못되었는지, 실험 방법에 결함이 있는지, 아니면 둘 다인지 알 수 없습니다. 어느 쪽이든 결과가 시작된 가정을 확정해주지 않으며 그저 모호할 뿐입니다.
이러한 일은 아무도 모르는 사이에 종종 발생합니다. 모델의 자기 설명 능력을 반박하려는 논문은, 이미 시작부터 모델 내부에 설명 가능한 자아가 존재한다고 가정하고 있습니다.
산업계가 이러한 효과를 부추겨 업계 또한 이러한 효과를 적극적으로 부추기고 있습니다. 앤스로픽(Anthropic)은 클로드(Claude)가 "나는 믿는다(I believe)" 또는 "나는 흥미가 있다(I am interested in)"와 같은 표현을 사용하도록 훈련시켰다고 공개적으로 밝힌 바 있습니다.
데 윈터는 이러한 종류의 의인화가 가져올 위험성을 지적합니다. 이는 사용자의 정서적 애착, 아첨(sycophancy), 강화된 망상을 조장할 수 있습니다.