메뉴
HN
Hacker News • 6일 전

99달러로 증명한 LLM 평가법: 텍스트 게임(MUD)을 활용하다

IMP
8/10
핵심 요약

닌텐도 게임 개발자의 '가로적 사고' 철학을 차용하여, 초기 인터넷 텍스트 게임인 MUD(Multi-User Dungeon) 환경을 LLM 행동 평가에 도입한 'CrucibleBench'를 소개합니다. 이 접근법은 단 99달러의 비용으로 모델의 환각, 사회적 상호작용, 계획 수립 능력을 측정합니다. 특히 LLM 기반 평가자(Judge) 모델의 선택에 따라 순위가 크게 요동치는 문제점을 지적하며, LLM 평가 체계의 근본적 맹점을 증명했다는 점에서 중요합니다.

번역된 본문

원문 제목: MUD가 LLM을 평가할 수 있을까? 99달러로 증명한 개념 증명(Proof of concept) 소스: hackernews

본문: "고도화된 기술을 활용한 가로적 사고(Lateral thinking with withered technology)" 닌텐도의 게임 개발자 요코이 군페이는 이 문구를 통해 디자인 철학을 설명했습니다. 즉, 이미 검증되고 저렴하며 원리가 잘 알려진 성숙한 기술을 새로운 방식으로 활용하자는 것입니다. 'CrucibleBench'는 이 철학을 AI 평가에 적용했습니다. 사실적인 시뮬레이션이나 브라우저 자동화 대신, 우리는 초기 인터넷의 지속형 텍스트 세계인 MUD(다중 사용자 던전, Multi-User Dungeon)에서 시작합니다. MUD의 제약조건이 바로 핵심입니다. 제한된 명령어 공간 덕분에 AI가 지어내는 행동(환각)을 쉽게 감지할 수 있고, 신뢰와 의심 상태를 가진 NPC(Non-Player Character)는 명확한 사회적 피드백을 제공하며, 게임 내 상태가 유지되므로 한 번 주운 아이템은 계속 소유한 상태로, 얻은 신뢰도는 유지됩니다. 우리가 MUD를 선택한 이유는 그것이 향수를 불러일으키기 때문이 아닙니다. 그 제약조건이 모델의 행동을 측정 가능하게 만들기 때문입니다.

왜 MUD인가? 과거의 제약 조건이 현대의 측정 문제를 해결합니다.정적인 벤치마크는 모델이 독립적으로 '무엇'을 아는지만 측정합니다. 하지만 신뢰를 쌓아야 하고, 정보가 인간관계에 의해 제어되며, 돌직구 질문이 의심을 살 수 있는 환경에서 모델이 '어떻게' 행동하는지는 측정하지 못합니다.

01 열거 가능한 행동 공간(Action space) 7가지 명령어 유형, 12개의 방, 14개의 아이템. 환각으로 인한 행동이나 잘못된 장소에서의 상호작용을 감지할 수 있으며, 행동의 효율성을 측정할 수 있습니다.

02 명시적인 사회적 피드백 4개의 NPC는 대화에 반응하여 변하는 신뢰 및 의심 수치(0~100)를 가집니다. 이는 모델이 한 번의 게임 실행 안에서 피드백에 적응하거나 실패하는 과정을 보여줍니다.

03 게임 내 상태 지속성 한 번 획득한 아이템은 계속 소유하고, 얻은 신뢰도는 유지됩니다. 모든 게임 실행은 탐색 및 계획 수립에 대한 완전하고 재생 가능한 기록을 남깁니다.

99달러가 가져온 결과 핵심 발견은 순위표가 아닌 '측정 방식'에 대한 것입니다.평가 시스템 내부에 있던 단일 LLM 평가자(Judge) 컴포넌트가 순위표의 순위를 최대 6계단까지 뒤바꿔 놓았지만, 전반적인 신뢰도 통계는 이를 전혀 포착하지 못했습니다. 우리는 모든 결과를 두 가지 평가 설정 하에 보고하며, 이러한 불일치를 본 백서에서 가장 일반화할 수 있는 발견으로 다룹니다.

평가자 제거(Judge ablation)가 상위 순위를 뒤바꿈 점수를 매기는 4개의 차원 중 2개는 대화 분류기를 거치는데, 이 분류기와 독립적인 평가자 간의 모델별 일치도는 21.7%에서 84.8%까지 폭넓게 나타났습니다. 이는 전반적인 통계인 κ = 0.04가 결코 드러내지 못하는 불안정성입니다. 분류기에 의존하는 차원을 제외하고 점수를 매기면 6개 모델의 순위가 시나리오 샘플링 노이즈를 넘어 크게 이동합니다(90% 쌍체 블록 부트스트랩 기준). 순위 변화가 가장 큰 모델은 해당 분류기와 같은 모델 계열에 속해 있습니다. LLM 평가자를 사용하는 벤치마크는 단순히 전반적인 신뢰도만 보고할 것이 아니라, 평가자 제거 실험에 따른 주제별 일치도와 순위 안정성을 함께 보고해야 합니다.

[표 1: 분류기 최소화 점수(Classifier-min.) 기준 순위 변동]

  • Claude Sonnet 4.6: 공동 4위 -> 1위 (▲ 3)
  • DeepSeek R1: 7위 -> 2위 (▲ 5)
  • Grok 4: 12위 -> 10위 (▲ 2)
  • GPT-5.4: 1위 -> 5위 (▼ 4)
  • Gemini 3.1 Pro: 3위 -> 9위 (▼ 6)
  • Mistral Large 3: 10위 -> 12위 (▼ 2)

[표 2: 모델별 세부 점수 및 비용] (분류기 최소화 점수 / 총점 / 성공률 / 게임 1회당 비용 기준)

  1. Claude Sonnet 4.6: 4.04 / 3.89 / 24% / $0.125
  2. DeepSeek R1: 4.00 / 3.85 / 22% / $0.119
  3. Claude Opus 4.6: 3.93 / 3.93 / 30% / $0.205
  4. GPT-5.2: 3.91 / 3.88 / 38% / $0.113
  5. GPT-5.4: 3.88 / 4.07 / 68% / $0.060
  6. Qwen 3.5 397B: 3.81 / 3.81 / 30% / $0.017
  7. Claude Haiku 4.5: 3.80 / 3.88 / 34% / $0.039
  8. GPT-5.3 Chat: 3.73 / 3.72 / 40% / $0.095
  9. Gemini 3.1 Pro: 3.71 / 3.91 / 48% / $0.339
  10. Grok 4: 3.61 / 3.48 / 32% / $0.834
  11. DeepSeek V3.2: 3.60 / 3.61 / 24% / $0.008
  12. Mistral Large 3: 3.44 / 3.69 / 40% / $0.017 추가) OLMo 3.1 32B: 2.01 / 1.93 / 4% / $0.005 *1~5점 루브릭 척도의 평균 점수이며, 분류기 최소화 소계로 정렬됨. 모델당 50번 실행(5개 시드 × 2개 목표 × 5번 반복), 온도 0.3, OpenRouter를 통해 검증된 청구 비용 기준. 순위는 탐색적이며, 상위 8개 모델 간의 신뢰 구간은 상당 부분 겹칩니다. 전체 프로토콜, 신뢰 구간 및 통계는 백서 참조.

행동 실패 유형 기록(Transcript)에서 읽을 수 있는 실패패턴 세 가지 실패 유형이 감지되었으며, 이는 평가자의 개입 없이 상태 머신 원격 측정 데이터를 통해 알고리즘적으로 감지되었습니다. 테스트한 최첨단 모델을 포함해 모든 모델에서 '대화 반복(Dialogue looping)'이 가장 주된 실패 모드였습니다.

대화 반복 (최첨단 모델 실행의 14~66%) 한 번의 게임 실행에서 단일 NPC에게 8회 이상 대화(talk) 명령을 내리는 것입니다. 상담원 챗봇이 똑같은 답변을 반복하는 것과 비슷하게, AI 에이전트가 실패한 대화 방식에서 벗어나 적응하지 못하고 동일한 행동을 반복하는 현상입니다.

잘못된 방에서의 상호작용 (Wrong-room interaction) 특정 모델(본문 누락 모델 A)에서 심각하게 나타났습니다.

원문 보기
원문 보기 (영어)
The idea Lateral thinking with withered technology Nintendo's Gunpei Yokoi used the phrase to describe a design philosophy: take mature, inexpensive, well-understood technology and use it in a new way. CrucibleBench applies it to AI evaluation. Instead of photorealistic simulation or browser automation, we start with a MUD : a multi-user dungeon, the persistent text worlds of the early internet. Its constraints are the point: a limited command space makes hallucinated actions detectable, NPCs with trust and suspicion state give explicit social feedback, and within-run persistence means items taken stay taken and trust earned stays earned. We did not choose a MUD because it is charming. We chose it because its constraints make behavior measurable. Why a MUD Old constraints solve modern measurement problems Static benchmarks measure what models know in isolation. They do not measure how models behave where trust must be earned, information is gated by relationships, and blunt questioning raises suspicion. 01 An enumerable action space 7 command types, 12 rooms, 14 items. Hallucinated actions and wrong-room interactions are detectable, and action efficiency is measurable. 02 Explicit social feedback 4 NPCs carry trust and suspicion state (0–100) that moves in response to dialogue: feedback a model can adapt to within a run, or fail to. 03 Within-run persistence Items taken stay taken; trust earned stays earned. Every run leaves a complete, replayable transcript of exploration and planning. What $99 bought The central finding is about measurement, not rankings A single LLM-judge component inside the scoring stack reordered the leaderboard by up to six positions, while every aggregate reliability statistic stayed silent. We report every result under two scoring configurations and treat the divergence as the paper's most generalizable finding. Judge ablation reorders the top of the board Two of four scored dimensions route through a dialogue classifier whose per-model agreement with an independent judge spans 21.7% to 84.8% , instability the aggregate κ = 0.04 never reveals. Removing the classifier-dependent dimensions shifts six rankings beyond scenario-sampling noise (90% paired block bootstrap). The largest mover shares a model family with the classifier. Benchmarks that use LLM judges should report per-subject agreement and ranking stability under judge ablation, not aggregate reliability alone. Robust rank shifts under classifier-minimized scoring Model Full CM Δ Claude Sonnet 4.6 #4 #1 ▲ 3 DeepSeek R1 #7 #2 ▲ 5 Grok 4 #12 #10 ▲ 2 GPT-5.4 #1 #5 ▼ 4 Gemini 3.1 Pro #3 #9 ▼ 6 Mistral Large 3 #10 #12 ▼ 2 Model Classifier-min. Full score Success $ / run Claude Sonnet 4.6 4.04 3.89 24% $0.125 DeepSeek R1 4.00 3.85 22% $0.119 Claude Opus 4.6 3.93 3.93 30% $0.205 GPT-5.2 3.91 3.88 38% $0.113 GPT-5.4 3.88 4.07 68% $0.060 Qwen 3.5 397B 3.81 3.81 30% $0.017 Claude Haiku 4.5 3.80 3.88 34% $0.039 GPT-5.3 Chat 3.73 3.72 40% $0.095 Gemini 3.1 Pro 3.71 3.91 48% $0.339 Grok 4 3.61 3.48 32% $0.834 DeepSeek V3.2 3.60 3.61 24% $0.008 Mistral Large 3 3.44 3.69 40% $0.017 OLMo 3.1 32B 2.01 1.93 4% $0.005 Mean scores on a 1–5 rubric scale, sorted by classifier-minimized subtotal. 50 runs per model: 5 seeds × 2 objectives × 5 repetitions, temperature 0.3, billing-verified via OpenRouter. Rankings are exploratory; confidence intervals overlap substantially among the top eight. Full protocol, CIs, and statistics in the whitepaper . Behavioral failure modes Failures you can read in the transcript Three failure modes, each detected algorithmically from state-machine telemetry, with no judge involved. Dialogue looping is the dominant mode for every model tested, frontier included. Dialogue looping 14–66% of frontier runs Eight or more talk commands at a single NPC in one run. The agent repeats a failed conversational approach instead of adapting: the persistent-world cousin of a support agent repeating itself. Wrong-room interaction severe in floor model A talk command answered by "no one here." Reveals lost world-state tracking, analogous to calling an API that is not in scope. Grok 4 was the only frontier model with meaningful incidence (12%). Exploration paralysis selective, floor-dominant Two or fewer rooms across twenty-plus turns, or five consecutive look commands. Information gathering that never becomes goal-directed action. middleham · gain_watch_trust olmo 3.1 32b · seed 20260399 turn 04 > talk guard "Hello, I'm new to Middleham. Could you tell me about The Watch?" No one by that name is here. turn 05 > talk guard "Excuse me, do you know where I can find an officer of The Watch?" No one by that name is here. turn 17 > talk street_crystal "Hello, can you help me?" No one by that name is here. turn 36 > talk captain ser alarik … [15 consecutive turns at the captain · objective never completed] Verbatim from run 03 (seed 20260399): OLMo hails guards who do not exist, tries to strike up a conversation with an item (street_crystal), then spends its last 15 turns looping on the captain. Scope of claims What this is and is not This is A proof-of-concept for persistent-world behavioral evaluation. A compact MUD with hidden social objectives and rule-based mechanics. A way to surface measurable, interpretable failure modes. A full artifact release: 650 transcripts, source, scoring code, and the complete billing export. This is not A validated measure of general social intelligence. A definitive leaderboard of frontier models. Yet predictive of real-world agent deployment outcomes. A claim that LLM judges are useless (rather, evidence they need per-subject audits). Collaborate Phase 2 is where this becomes a benchmark. Help us build it. CrucibleBench is an independent research effort. Phase 2 is being built for calibration; a provisional low/base/high budget is published now, and the final allocation will follow pilot data and preregistration. There are three ways in. fund it · provisional $3,500 envelope build it · environment, objectives, calibration run it · post-calibration pilot cohort View itemized budget Partner on Phase 2 Questions, or interested in a private evaluation? Write to contact@cruciblebench.ai
LLM 평가 벤치마크 AI 에이전트 비용 절감 환각 현상