카르파시, 반지의 제왕 단락으로 3D 씬 구현하다
안드레이 카르파시(Anthropic 소속)는 Claude Opus 5를 활용해 '반지의 제왕'의 한 단락을 3D 브라우저 씬으로 제작해 보았으며, 약 2시간 만에 5,500줄의 코드를 생성했습니다. 이는 펠리컨이나 유니콘을 그리게 하던 기존의 단순한 공간 지능 테스트를 넘어, 저렴한 비용으로 맞춤형 게임 월드를 즉각적으로 생성할 수 있는 코딩 에이전트의 잠재력을 보여줍니다. 다만 모델이 실시간 영상 출력을 스스로 확인하지 못해 발생하는 오류 등은 남은 과제입니다.
유니콘, 펠리컨, 중간계: OpenAI 공동 창립자 카르파시, 다음 AI 감각 테스트를 찾다
- 작성자: Maximilian Schreiner
- 작성일: 2026년 8월 3일
핵심 요약
- 안드레이 카르파시(Andrej Karpathy)는 AI 모델 Claude Opus 5를 사용해 '반지의 제왕'의 단 한 단락을 3D 브라우저 씬으로 변환했으며, 약 2시간 만에 5,500줄의 코드를 생성했습니다. 이 과정에 든 비용은 약 10달러였습니다.
- 모델이 객체를 배치하고 애니메이션을 적용하는 과정은 자율적으로 이루어졌으나, 스크린샷을 통해서만 자신의 비디오 출력 결과를 확인할 수 있었기 때문에 오류가 발생하기도 했습니다.
- Anthropic에서 근무 중인 카르파시는 이 테스트가 주문형으로 제작되는 저렴한 맞춤형 게임 월드의 잠재력을 보여준다고 평가했습니다. 다만 그는 이를 엄격한 벤치마크라기보다는 하나의 '감각 테스트(Vibe check)'로 간주했습니다.
'반지의 제왕' 원문 단락 하나를 넣으니 5,500줄의 코드가 쏟아져 나왔다. 안드레이 카르파시는 Claude Opus 5가 톨킨의 도입부를 3D 브라우저 씬으로 만들도록 지시했다. 이 모델은 약 2시간 동안 작업했으며, 100만 토큰(약 10달러)의 예산을 소진했고 브라우저에서 3D를 구현하는 그래픽 라이브러리인 Three.js를 사용해 모든 것을 렌더링했다. 카르파시는 다른 사람들이 해당 씬을 재생하고 수정할 수 있도록 소스 코드를 온라인에 공개했다.
카르파시는 잘 알려진 '펠리컨 테스트(pelican test)'가 한계에 달했다고 주장한다. 사이먼 윌리슨(Simon Willison)이 고안한 이 재미있는 벤치마크는 모델에게 자전거를 타는 펠리컨을 SVG로 그리라고 요구하는데, 이는 해당 주제가 학습 데이터에 이미 존재하지 않도록 의도적으로 터무니없는 프롬프트를 선택한 것이다. 이 아이디어는 더 거슜러 올라간다. 2023년, 마이크로소프트는 'Sparks of AGI' 논문의 일환으로 GPT-4에게 TikZ를 사용해 유니콘을 그리게 했으며, 이를 공간 추론 능력의 증거로 제시했다. 당시 GPT-4는 현재 모든 주요 챗봇을 구동하는 멀티모달 모델과 달리 텍스트 데이터만으로 학습되었다.
카르파시는 결과물이 거칠지만 재미있다고 평가했다. Eleven Labs가 오디오를 제공했으며, 모델은 객체를 자체적으로 배치하고 애니메이션을 적용했다. 카르파시는 누구도 이런 방식으로 세계를 손수 구축하지는 않겠지만, 모델을 활용하면 거의 무료나 다름없다고 말한다. 그는 사용자가 조연이나 주인공으로 투입될 수 있는 주문형 게임 월드의 잠재력을 보고 있다.
하지만 한 가지 문제는 남아있다. 모델은 자신이 만든 비디오 출력을 실시간으로 감시할 수 없어 스크린샷에 의존해야만 했고, 이로 인해 오류가 발생했다. 다른 사용자들 역시 Opus 5를 사용해 1인칭 슈팅 게임(FPS)부터 마인크래프트 클론까지 전체 브라우저 게임을 작성하고 있다.
이러한 결과들은 엄밀한 벤치마크를 산출하지는 않는다. 이들은 단지 '감각 테스트(Vibe checks)'일 뿐이다. 카르파시는 OpenAI를 공동 설립하고 테슬라의 AI 총괄을 역임했다. 그는 이후 교육 스타트업인 유레카 랩스(Eureka Labs)를 운영했으며, 2026년 5월부터 Anthropic에서 사전 학습 연구를 수행하고 있다.