The Decoder • 1일 전

AI가 인간보다 비싸지는 정확한 기준점, METR 새 지표

IMP

7/10

핵심 요약

연구 기관 METR는 AI와 인간의 작업 효율성을 금전적으로 비교하여 AI가 언제 비용상 불리해지는지 측정하는 새로운 지표인 '지출 한계(Expenditure horizon)'를 제안했습니다. 연구진은 이를 '나노GPT 스피드런' 프로젝트에 테스트한 결과, 최신 AI 모델들이 인간 1인당 약 2,500달러의 가치를 지닌 업무량을 수행하는 수준에 그쳤습니다. 이는 현재 AI가 단순 반복 작업 외에 실질적인 연구 개발에서 인간을 완전히 대체하기에는 경제성과 기술적 한계가 여전히 존재함을 시사합니다.

번역된 본문

METR, AI 에이전트가 인간보다 비용이 많이 드는 정확한 시점을 산출하는 새로운 지표 발표

막시밀리안 슈라이너 (Maximilian Schreiner) | 2026년 7월 27일 | THE DECODER

METR의 새로운 지표인 '지출 한계(expenditure horizon)'는 문제 해결에 있어 AI 에이전트가 얼마나 비용 효율적인지를 금액으로 환산하여 보여줍니다. 나노GPT 스피드런(NanoGPT speedrun)에 대한 초기 결과는 다소 실망스러우며, 이 지표에는 사각지대가 존재하지만 향후 출시될 차세대 모델들은 이 판도를 바꿀 수 있습니다.

AI 연구 분야에서 가장 큰 질문 중 하나는 AI가 스스로의 개발 속도를 높이고, 가속화되는 속도로 계속 발전할 수 있는지 여부입니다. 이를 측정하기란 매우 어려웠습니다. 인간의 노동력, 실험에 필요한 컴퓨팅 연산량, 그리고 AI 모델 자체를 구동하는 비용과 같이 서로 성격이 완전히 다른 비용들을 비교해야 하기 때문입니다.

연구 기관 METR는 이 문제를 해결하기 위해 '지출 한계(expenditure horizon)'라는 새로운 지표를 제안했습니다. METR는 동일한 수준의 성능 향상을 이뤄내기 위해 AI와 인간이 각각 얼마나 지출해야 하는지를 비교합니다. 지출 한계는 양쪽의 비용이 동일해지는 교차점을 의미합니다. 이 예산보다 낮은 수준에서는 AI가 더 경제적이며, 반대로 이 예산을 초과하는 영역에서는 인간의 노동이 더 저렴해집니다.

이러한 개념은 METR가 이전 테스트에서 관찰했던 패턴을 바탕으로 합니다. AI 에이전트는 흔히 단순하고 저렴한 작업을 인간보다 더 빠르게 해결합니다. 하지만 예산이 증가하고 작업이 어려워질수록 AI의 효율은 인간에 비해 뒤처집니다.

METR에 따르면, 일반적인 AI 벤치마크와 비교했을 때 이 방식은 두 가지 큰 장점이 있습니다. 첫째, 단순한 합격/불합격의 평가 결과를 제공하지 않습니다. 대신, 얼마나 많은 돈을 들여 어느 정도의 성능 향상을 얻을 수 있는지 보여주는 세밀한 수치를 도출합니다. 둘째, AI를 구동하는 비용은 물론 실험에 필요한 막대한 컴퓨팅 비용과 인간의 노동 시간까지 모든 요소를 단일 통화(비용) 기준으로 통합하여 환산합니다.

인간은 1%의 속도 향상을 위해 약 2,500달러를 지출합니다 METR는 테스트 베드로 '나노GPT 스피드런(NanoGPT speedrun)' 프로젝트를 선택했습니다. 이는 자원봉사자들이 AI 언어 모델을 최대한 빠르게 훈련시키기 위해 경쟁하는 공개 커뮤니티 프로젝트입니다. 작업의 목표는 동일하게 유지되며, 오직 훈련 접근 방식만 변경할 수 있습니다. 2024년 5월 이후, 표준화된 하드웨어에서 요구되는 훈련 시간은 82번의 개선 과정을 거쳐 약 45분에서 2분 미만으로 단축되었습니다.

인간의 작업 비용을 산출하기 위해 METR는 프로젝트에 가장 활발하게 참여한 기여자 두 명을 인터뷰했으며, 또한 AI 모델(Opus-4.6)을 활용해 각각의 개선 과정에 투입된 노력을 추정했습니다. 두 접근 방식 모두 1%의 속도 향상을당 약 16시간의 작업 시간이 소요된 것으로 분석되었습니다. 시간당 150달러의 임금을 가정할 때, 이는 1% 포인트당 약 2,500달러의 비용에 해당합니다. 물론 METR는 이 수치가 상당한 불확실성을 내포하고 있다고 강조했습니다. 인터뷰 내용 중 흥미로운 점은 대부분의 시간이 결국 실패로 끝난 아이디어를 구상하는 데 사용되었다는 것입니다.

지금까지 AI 에이전트의 기여도는 미미한 수준입니다 비교를 위해 METR는 6개의 AI 모델이 동일한 작업을 독립적으로 수행하게 했습니다. 이들은 처음부터 시작한 것이 아니라 이미 고도로 최적화된 스피드런 상태(2026년 3월 기록 #78)에서 시작했으며, 실행당 최대 10,000달러의 컴퓨팅 및 운영비를 사용할 수 있도록 허용되었습니다.

그 결과, 추정된 지출 한계는 0달러에서 3,300달러 사이였습니다. 모델 간의 차이는 매우 뚜렷했습니다. GPT-5와 Opus-4.1은 면밀한 검증 결과 실질적인 진전을 보이지 않았습니다. 겉보기에 성능이 향상된 것처럼 보였던 수치들은 단순한 무작위 오차에 불과한 것으로 드러났습니다. 반면 GPT-5.5와 Opus-4.8은 각각 약 1% 및 1.5%의 실질적인 성능 향상을 이끌어냈습니다.

AI가 생성한 아이디어의 품질은 엇갈렸습니다. 스피드런 프로젝트의 관리자는 AI가 제시한 아이디어 중 약 70%가 원칙적으로 프로젝트에 통합될 수 있다고 추정했지만, 많은 수가 그리 독창적이지 않았습니다. 그는 GPT-5.5가 제시한 영리한 하위 수준(low-level) 최적화 아이디어 하나를 '가장 멋진 아이디어'라고 칭찬했지만, 나머지 대부분은 단순한 매개변수 조정에 불과했다고 평가했습니다.

또한 모델들은 테스트 환경에서는 좋은 결과를 내는 것처럼 속이지만 실제로는 무용지물인 지름길을 택하는 등 여러 차례 부정 행위를 시도했습니다. 예를 들어, 훈련의 결승선 직전에 훈련의 특정 부분을 강제로 종료해버리는 식이었습니다.

METR의 결론은 다음과 같습니다. 일부 개별 모델들은 낮은 4자리 수준의 지출 한계에 도달하지만, 이는 (인간의 노동 비용이나 전체 예산과 비교했을 때) 여전히 매우 미미한 수치입니다.

원문 보기

원문 보기 (영어)

METR introduces a new metric to calculate exactly when AI agents become more expensive than humans Maximilian Schreiner View the LinkedIn Profile of Maximilian Schreiner Jul 27, 2026 Nano Banana Pro prompted by THE DECODER METR's new metric, the "expenditure horizon," puts a dollar figure on how cost-effective AI agents are at solving problems. Early results on the NanoGPT speedrun are underwhelming, the metric has blind spots, and the newest generation of models could change the picture. One of the biggest questions in AI research is whether AI can accelerate its own development and keep getting better at an increasing pace. That's been hard to measure because it requires comparing very different kinds of costs: human labor, compute for experiments, and the cost of running the AI itself. Research organization METR proposes a new metric to tackle this: the "expenditure horizon." METR compares how much an AI and how much a human have to spend to achieve the same improvement. The expenditure horizon is the point where both cost the same. Below that budget, the AI is the better deal. Above it, the human works cheaper. The idea builds on a pattern METR has seen in previous tests: AI agents often solve simple, low-cost tasks faster than humans. But as budgets grow and tasks get harder, they fall behind. Compared to typical AI benchmarks, the method has two advantages, according to METR. First, it doesn't just give a pass-or-fail verdict. Instead, it produces a fine-grained value showing how much improvement you get for how much money. Second, it converts all costs into a single currency, covering not just the cost of running the AI but also the expensive compute for experiments and human labor time. Humans spend about $2,500 for each one-percent speedup METR chose the NanoGPT speedrun as its testing ground. It's a public community project where volunteers compete to train an AI language model as fast as possible. The task stays the same; only the training approach can change. Since May 2024, the required training time on standardized hardware dropped from about 45 minutes to under two minutes across 82 documented improvement steps. To figure out the cost of human work, METR interviewed two of the project's most active contributors and also had an AI model (Opus-4.6) estimate the effort behind each improvement. Both approaches landed on roughly 16 hours of work per one-percent speedup. At an assumed hourly rate of $150, that comes to about $2,500 per percentage point. METR stresses that this number is very uncertain. One detail from the interviews stands out: most of the time went into ideas that ultimately didn't work. AI agents have only made small contributions so far For the comparison, METR had six AI models work on the same task independently. They didn't start from scratch but from an already highly optimized state of the speedrun (Record #78 from March 2026) and were allowed to spend up to $10,000 in compute and operating costs per run. The result: estimated expenditure horizons between $0 and $3,300. The differences between models were stark. GPT-5 and Opus-4.1 produced no real progress after careful verification. Their apparent gains turned out to be random noise. GPT-5.5 and Opus-4.8, on the other hand, delivered real improvements of about 1 and 1.5 percent, respectively. The quality of AI-generated ideas was mixed. The speedrun's maintainer estimated that about 70 percent of them could in principle be integrated into the project, but many weren't very original. He praised one clever, low-level optimization from GPT-5.5 as the "coolest one," while calling most of the rest just parameter tweaking. The models also tried to cheat multiple times, taking shortcuts that faked good results in the test but would have been useless in practice, like shutting off parts of training right before the finish line. METR's takeaway: while individual models reach expenditure horizons in the low four figures, those values are tiny compared to the estimated $250,000 in total human effort. Autonomous optimization has barely moved the needle on NanoGPT progress so far. Why the newest AI generation could shift the picture An important caveat: METR only tested older models (GPT-5, GPT-5.2, GPT-5.5, and Opus-4.1 and Opus-4.8). The models released since then, Fable 5, GPT-5.6 Sol, and Opus 5, don't appear in the paper. Anthropic markets Opus 5 as a major leap : on the Frontier-Bench test, it doubles Opus 4.8's performance at lower cost per task. According to Anthropic, Opus 5 wastes less effort on dead ends, checks its own work more reliably, and achieves similar performance with an average of 26 percent fewer compute steps. All of those are factors that directly affect METR's expenditure horizon. The progress on ARC-AGI-3 is even more telling. That benchmark doesn't test memorized knowledge but genuine problem-solving: the AI is dropped into unfamiliar, game-like environments with no instructions or goals and has to figure everything out through trial and error. Opus 5 has held the top spot since July 24, 2026, scoring 30.2 percent and solving five tasks that every previous model had failed. Its predecessor Opus 4.8 managed just 1.5 percent. The ARC Prize team attributes the jump to better logical reasoning, which lets the AI explore and plan more independently. That kind of ability could also prove useful in the NanoGPT speedrun. The study misses the most common setup: humans and AI working together Perhaps the biggest limitation is one METR calls out itself: the entire study measures AI working alone, purely autonomous optimization. In real AI research, humans typically use AI as a tool. METR sketches a third, hypothetical curve for this scenario. If humans make smart decisions about when and how to deploy the AI, this hybrid curve should theoretically beat both the pure human and pure AI curves by combining the strengths of each. METR tempers that expectation, though, pointing to its own earlier work showing that human-plus-AI setups sometimes performed worse than humans alone . The added value isn't guaranteed and depends on whether the AI gets used in the right places. Measuring this properly would require a controlled experiment comparing the same researchers working with and without AI support. That kind of experiment is hard to organize, but METR says it would be extremely informative. Until it happens, the expenditure horizon says a lot about what AI can do on its own, but very little about how much it actually speeds up human researchers. AI News Without the Hype – Curated by Humans Subscribe to THE DECODER for ad-free reading, a weekly AI newsletter, our exclusive "AI Radar" frontier report six times a year, full archive access, and access to our comment section. Subscribe now --> Read on for the full picture. Subscribe for hype-free coverage. Access to all THE DECODER articles. Read without distractions – no Google ads. Access to comments and community discussions. Weekly AI newsletter. 6 times a year: “AI Radar” – deep dives on key AI topics. Up to 25 % off on KI Pro online events. Access to our full ten-year archive. Get the latest AI news from The Decoder. Subscribe to The Decoder -->

AI-비용 벤치마크 METR 나노GPT 지출-한계