메뉴
BL
The Decoder • 54일 전

카르파시, 반지의 제왕 단락으로 3D 씬 구현하다

IMP
8/10
핵심 요약

안드레이 카르파시(Anthropic 소속)는 Claude Opus 5를 활용해 '반지의 제왕'의 한 단락을 3D 브라우저 씬으로 제작해 보았으며, 약 2시간 만에 5,500줄의 코드를 생성했습니다. 이는 펠리컨이나 유니콘을 그리게 하던 기존의 단순한 공간 지능 테스트를 넘어, 저렴한 비용으로 맞춤형 게임 월드를 즉각적으로 생성할 수 있는 코딩 에이전트의 잠재력을 보여줍니다. 다만 모델이 실시간 영상 출력을 스스로 확인하지 못해 발생하는 오류 등은 남은 과제입니다.

번역된 본문

유니콘, 펠리컨, 중간계: OpenAI 공동 창립자 카르파시, 다음 AI 감각 테스트를 찾다

  • 작성자: Maximilian Schreiner
  • 작성일: 2026년 8월 3일

핵심 요약

  • 안드레이 카르파시(Andrej Karpathy)는 AI 모델 Claude Opus 5를 사용해 '반지의 제왕'의 단 한 단락을 3D 브라우저 씬으로 변환했으며, 약 2시간 만에 5,500줄의 코드를 생성했습니다. 이 과정에 든 비용은 약 10달러였습니다.
  • 모델이 객체를 배치하고 애니메이션을 적용하는 과정은 자율적으로 이루어졌으나, 스크린샷을 통해서만 자신의 비디오 출력 결과를 확인할 수 있었기 때문에 오류가 발생하기도 했습니다.
  • Anthropic에서 근무 중인 카르파시는 이 테스트가 주문형으로 제작되는 저렴한 맞춤형 게임 월드의 잠재력을 보여준다고 평가했습니다. 다만 그는 이를 엄격한 벤치마크라기보다는 하나의 '감각 테스트(Vibe check)'로 간주했습니다.

'반지의 제왕' 원문 단락 하나를 넣으니 5,500줄의 코드가 쏟아져 나왔다. 안드레이 카르파시는 Claude Opus 5가 톨킨의 도입부를 3D 브라우저 씬으로 만들도록 지시했다. 이 모델은 약 2시간 동안 작업했으며, 100만 토큰(약 10달러)의 예산을 소진했고 브라우저에서 3D를 구현하는 그래픽 라이브러리인 Three.js를 사용해 모든 것을 렌더링했다. 카르파시는 다른 사람들이 해당 씬을 재생하고 수정할 수 있도록 소스 코드를 온라인에 공개했다.

카르파시는 잘 알려진 '펠리컨 테스트(pelican test)'가 한계에 달했다고 주장한다. 사이먼 윌리슨(Simon Willison)이 고안한 이 재미있는 벤치마크는 모델에게 자전거를 타는 펠리컨을 SVG로 그리라고 요구하는데, 이는 해당 주제가 학습 데이터에 이미 존재하지 않도록 의도적으로 터무니없는 프롬프트를 선택한 것이다. 이 아이디어는 더 거슜러 올라간다. 2023년, 마이크로소프트는 'Sparks of AGI' 논문의 일환으로 GPT-4에게 TikZ를 사용해 유니콘을 그리게 했으며, 이를 공간 추론 능력의 증거로 제시했다. 당시 GPT-4는 현재 모든 주요 챗봇을 구동하는 멀티모달 모델과 달리 텍스트 데이터만으로 학습되었다.

카르파시는 결과물이 거칠지만 재미있다고 평가했다. Eleven Labs가 오디오를 제공했으며, 모델은 객체를 자체적으로 배치하고 애니메이션을 적용했다. 카르파시는 누구도 이런 방식으로 세계를 손수 구축하지는 않겠지만, 모델을 활용하면 거의 무료나 다름없다고 말한다. 그는 사용자가 조연이나 주인공으로 투입될 수 있는 주문형 게임 월드의 잠재력을 보고 있다.

하지만 한 가지 문제는 남아있다. 모델은 자신이 만든 비디오 출력을 실시간으로 감시할 수 없어 스크린샷에 의존해야만 했고, 이로 인해 오류가 발생했다. 다른 사용자들 역시 Opus 5를 사용해 1인칭 슈팅 게임(FPS)부터 마인크래프트 클론까지 전체 브라우저 게임을 작성하고 있다.

이러한 결과들은 엄밀한 벤치마크를 산출하지는 않는다. 이들은 단지 '감각 테스트(Vibe checks)'일 뿐이다. 카르파시는 OpenAI를 공동 설립하고 테슬라의 AI 총괄을 역임했다. 그는 이후 교육 스타트업인 유레카 랩스(Eureka Labs)를 운영했으며, 2026년 5월부터 Anthropic에서 사전 학습 연구를 수행하고 있다.

원문 보기
원문 보기 (영어)
Unicorn, pelican, Middle-earth: OpenAI co-founder Karpathy is looking for the next AI vibe test Maximilian Schreiner View the LinkedIn Profile of Maximilian Schreiner Aug 3, 2026 Karpathy Key Points Andrej Karpathy had the AI model Claude Opus 5 turn a single paragraph of "Lord of the Rings" into a 3D browser scene, generating 5,500 lines of code in about two hours. The whole thing cost roughly ten dollars. The model placed and animated objects on its own but made mistakes because it could only check its own video output through screenshots. For Karpathy, who works at Anthropic, the test shows the potential for cheap, custom game worlds built on demand. He considers the result more of a vibe check than a hard benchmark, though. Ask about this article… Search One paragraph of "Lord of the Rings" in, 5,500 lines of code out. Andrej Karpathy had Claude Opus 5 turn Tolkien's opening into a 3D browser scene. The model worked for about two hours, had a budget of one million tokens (roughly $10), and rendered everything in Three.js, a graphics library for 3D in the browser. Karpathy posted the source code online so others can play back and modify the scene. Karpathy's argument is that the well-known pelican test is close to maxed out. Simon Willison's fun benchmark asks a model to draw an SVG of a pelican riding a bicycle, a prompt chosen to be absurd enough that the subject wouldn't already exist in training data. The idea goes back further. In 2023, Microsoft had GPT-4 draw a unicorn in TikZ as part of its Sparks of AGI paper and pointed to it as evidence of spatial reasoning. GPT-4 at the time was trained on text data only, unlike the multimodal models that now power every major chatbot. Ad Karpathy calls the result rough but fun. Eleven Labs provided the audio, while the model placed and animated objects on its own. Nobody would build worlds like this by hand, Karpathy says, but with a model it's nearly free. He sees potential for on-demand game worlds where users could be dropped in as side characters or protagonists. Ad DEC_D_Incontent-1 One problem remains. The model can't watch its own video output and had to rely on screenshots instead, which led to errors. Other users are having Opus 5 write entire browser games , from first-person shooters to Minecraft clones. None of this produces hard benchmarks. They're vibe checks. Karpathy co-founded OpenAI and served as head of AI at Tesla. He later ran the education startup Eureka Labs and has been working on pre-training research at Anthropic since May 2026. Ad AI News Without the Hype – Curated by Humans Subscribe to THE DECODER for ad-free reading, a weekly AI newsletter, our exclusive "AI Radar" frontier report six times a year, full archive access, and access to our comment section. Subscribe now Source: Karpathy (X) | Karpathy (LOTR-Movie)