메뉴
BL
The Decoder • 32일 전

AI, 19일간 무중단 코딩... 새로운 벤치마크 'MirrorCode' 공개

IMP
8/10
핵심 요약

Epoch AI와 METR는 AI 모델이 원본 소스 코드 없이 전체 프로그램을 처음부터 다시 구현해야 하는 'MirrorCode' 벤치마크를 공개했습니다. Claude Opus 4.7 모델이 56%의 해결률로 1위를 차지했으나, 가장 복잡한 대규모 작업에서는 여전히 모든 모델이 완벽한 구현에 실패했습니다. 이는 최신 AI가 인간 개발자 수 주일이 걸리는 복잡한 장기 프로젝트를 얼마나 자율적으로 수행할 수 있는지 평가하는 중요한 기준점이 됩니다.

번역된 본문

AI 모델이 단일 MirrorCode 작업을 위해 19일 동안 쉬지 않고 코딩하며, 실행 비용으로 2,600달러가 발생한 사례가 나왔다.

작성자: Matthias Bastian (2026년 6월 26일)

핵심 요약: Epoch AI와 METR은 'MirrorCode'라는 새로운 벤치마크를 구축했습니다. 이 벤치마크는 AI 모델이 원본 소스 코드에 대한 접근 권한 없이 다양한 컴퓨터 과학 분야의 완전한 프로그램을 처음부터 다시 만들어내도록 요구합니다. Claude Opus 4.7이 56%의 해결률로 벤치마크를 선도하며, 단 14시간 만에 16,000줄의 코드로 이루어진 생물정보학 툴킷을 재구현하는 데 성공했습니다. 모든 테스트된 모델이 소규모 프로그램은 안정적으로 처리할 수 있지만, 현재까지 가장 복잡한 작업을 완벽히 해결한 모델은 없습니다.

본문:

Epoch AI의 새로운 MirrorCode 벤치마크는 AI 모델이 독립적으로 전체 프로그램을 재구현할 수 있는지를 테스트합니다. Claude Opus 4.7이 56%의 성공률로 1위를 기록했지만, 모든 모델은 여전히 가장 복잡한 작업에서는 실패합니다.

Epoch AI와 METR의 새로운 코딩 벤치마크인 MirrorCode에서 AI 모델은 원본 소스 코드에 접근하지 않은 채 처음부터 완전한 프로그램을 다시 구현해야 합니다. 25개의 대상 프로그램은 Unix 유틸리티, 데이터 직렬화, 생물정보학, 인터프리터, 정적 분석, 암호학 및 압축 기술을 다룹니다. AI가 생성한 솔루션은 개발 중에 모델이 절대 볼 수 없는 숨겨진 엔드투엔드 테스트를 포함하여 원본 프로그램의 출력을 정확하게 재현해야 합니다.

다른 많은 벤치마크와의 또 다른 차이점은 '추론 예산(inference budget)'입니다. 개발자들은 기존의 소프트웨어 엔지니어링 벤치마크는 인간이 동일한 작업을 완료하는 데 몇 주가 필요함에도 불구하고 작업당 비용을 1달러에서 10달러로 제한하는 경우가 많다고 설명했습니다. Epoch AI에 따르면, MirrorCode의 가장 큰 작업 중 하나는 단 한 번 실행하는 데 2,600달러의 비용이 발생했습니다. 이 과정에서 AI는 인간의 개입 없이 19일 동안 멈추지 않고 작업했습니다.

Claude Opus 4.7, 14시간 만에 생물정보학 툴킷 재구현

Epoch AI는 AI가 이미 수준 높은 장기 프로그래밍 작업을 처리할 수 있다고 밝혔습니다. 가장 돋보이는 예는 Claude Opus 4.7이 약 16,000줄의 Go 코드와 40개 이상의 명령어로 구성된 생물정보학 툴킷인 'gotree'를 재구현한 것입니다. 연구진에 따르면, AI의 도움 없이 일하는 인간 엔지니어라면 동일한 작업에 2~17주가 필요할 것입니다. 반면 Opus 4.7은 단 14시간 만에 251달러의 비용으로 작업을 완료했습니다.

종합 순위에서 Claude Opus 4.7은 56%의 해결률을 기록했습니다. 뒤를 이어 GPT-5.5가 44%, Gemini 3.1 Pro Preview가 32%를 기록했습니다. 모델이 프로그램을 완전히 재구현하는 데 실패하더라도 일반적으로 테스트의 90% 이상을 통과합니다.

가장 어려운 작업은 여전히 모든 모델을 당황하게 만든다

이러한 발전에도 불구하고 MirrorCode는 결코 해결된 것이 아닙니다. 작업은 소규모, 중규모, 대규모의 세 가지 범주로 나뉩니다. 'uuid'나 'parseqsv' 같은 소규모 프로그램은 테스트된 모든 모델에 의해 안정적으로 재구현됩니다. 하지만 가장 큰 규모의 작업은 테스트된 모든 모델을 완전히 꺾었습니다.

연구진은 여전히 빠른 발전을 보고 있다고 전했습니다. Epoch AI에 따르면, 1년 전의 최고 수준 모델들은 약 30%의 점수만을 기록했으며 달력 유틸리티 같은 더 간단한 프로그램으로만 제한되었을 것입니다.

비용 추세는 뚜렷한 패턴을 따르지 않습니다. GPT-5.5는 동일한 작업에서 GPT-5보다 3배 더 많은 비용이 들지만, Claude Opus 4.7은 Claude Opus 4.1보다 3배 더 저렴하게 실행됩니다.

Epoch AI는 6가지 프로그래밍 언어에 걸친 132개의 작업 인스턴스를 포함하여 25개의 대상 프로그램 중 22개의 프로그램과 스캐폴드(scaffold)를 오픈소스로 공개했습니다. 3개의 프로그램은 테스트를 위해 비공개로 유지됩니다. 연구진은 한 가지 중요한 주의점을 지적했습니다. MirrorCode가 오픈소스 프로그램을 대상으로 사용하기 때문에 모델이 학습 과정에서 이미 원본 코드를 보았을 가능성이 있다는 것입니다. 그들은 "초기 테스트 결과 단순 암기(memorization)에 의한 결과가 주를 이루지는 않았지만, 암기가 AI의 성능에 기여했을 가능능성을 배제할 수는 없다"고 작성했습니다.

원문 보기
원문 보기 (영어)
An AI model programmed nonstop for 19 days on a single MirrorCode task that cost $2,600 to run Matthias Bastian View the LinkedIn Profile of Matthias Bastian Jun 26, 2026 Nano Banana Pro prompted by THE DECODER Key Points Epoch AI and METR have built a new benchmark called "MirrorCode" that requires AI models to recreate complete programs across various computer science domains from scratch, without access to the original source code. Claude Opus 4.7 leads the benchmark with a 56 percent solve rate and managed to reimplement a bioinformatics toolkit with 16,000 lines of code in just 14 hours. While all tested models can reliably handle smaller programs, none of them have cracked the most complex tasks so far. Ask about this article… Search Epoch AI's new MirrorCode benchmark tests whether AI models can recreate entire programs on their own. Claude Opus 4.7 leads with 56 percent, but every model still fails on the most complex tasks. In the new MirrorCode coding benchmark from Epoch AI and METR, AI models have to reimplement complete programs from scratch without access to the original source code. The 25 target programs cover Unix utilities, data serialization, bioinformatics, interpreters, static analysis, cryptography, and compression. Each AI-generated solution must exactly reproduce the output of the original program, including hidden end-to-end tests the model never sees during development. Ad Another difference from many other benchmarks is the inference budget. Existing software engineering benchmarks often cap costs at $1 to $10 per task, even when a human would need weeks to finish the same work, the developers write. Ad DEC_D_Incontent-1 According to Epoch AI, one of the largest tasks in MirrorCode cost $2,600 for a single run. The AI worked continuously for 19 days with no human involvement at all. Claude Opus 4.7 rebuilds a bioinformatics toolkit in 14 hours Epoch AI says AI can already handle demanding long-term programming tasks. The standout example comes from Claude Opus 4.7, which reimplemented gotree, a bioinformatics toolkit with roughly 16,000 lines of Go code and over 40 commands. A human engineer working without AI help would need 2 to 17 weeks for the same job, according to the researchers. Opus 4.7 finished in 14 hours for $251. Ad In the overall rankings, Claude Opus 4.7 hit a solve rate of 56 percent. GPT-5.5 followed at 44 percent, and Gemini 3.1 Pro Preview came in at 32 percent. Even when models fail to fully reimplement a program, they typically pass 90 percent or more of the tests. The hardest tasks still stump every model Despite the progress, MirrorCode is far from solved. Tasks fall into three categories: small, medium, and large. Small programs like uuid or parseqsv get reliably reimplemented by all tested models. The largest tasks beat every model tested. Ad DEC_D_Incontent-2 The researchers are still seeing rapid gains. Leading models from a year ago would have scored only about 30 percent and been limited to simpler programs like a calendar utility, Epoch AI says. Ad Cost trends don't follow a clear pattern. GPT-5.5 costs three times as much as GPT-5 for the same tasks, while Claude Opus 4.7 runs three times cheaper than Claude Opus 4.1. Epoch AI has open-sourced the scaffold and 22 of the 25 target programs , covering 132 task instances across six programming languages. Three programs are kept private for testing. The researchers point to one important caveat: since MirrorCode uses open-source programs as targets, the models may have already seen the original code during training. Initial tests suggest "the results were not dominated by memorization, but we cannot rule out the possibility that memorization contributes to AI performance," they write. AI News Without the Hype – Curated by Humans Subscribe to THE DECODER for ad-free reading, a weekly AI newsletter, our exclusive "AI Radar" frontier report six times a year, full archive access, and access to our comment section. Subscribe now Source: Paper
벤치마크 코딩AI 에이전트 소프트웨어 엔지니어링