The Decoder • 19일 전

OpenAI, 인기 코딩 벤치마크 30% 결함 발견

IMP

7/10

핵심 요약

OpenAI가 널리 쓰이는 AI 코딩 평가 테스트인 'SWE-Bench Pro'의 약 30%가 결함이 있다는 사실을 발견하고 공식 지지를 철회했습니다. 단순한 공백 오차나 숨겨진 정답 우회 등으로 인해 AI의 실제 코딩 역량이 왜곡되어 평가되고 있기 때문입니다. 이에 따라 AI 업계는 권위 있던 기존 순위표를 폐기하고, 보다 신뢰할 수 있는 새로운 벤치마크 마련을 촉구하고 있습니다.

번역된 본문

OpenAI는 AI 모델의 프로그래밍 실력을 측정하는 데 널리 사용되는 테스트인 SWE-Bench Pro를 검토한 결과, 약 30%의 과제에 결함이 있는 것으로 나타났습니다. 이에 회사는 이 벤치마크에 대한 이전의 공식 지지를 철회했습니다.

이러한 테스트의 결과는 모델 출시 여부와 방식을 결정하고, OpenAI의 '준비 프레임워크(Preparedness Framework)'에 따른 안전성 평가에도 반영되는 등 중요한 역할을 합니다. 테스트에 오류가 있으면 AI가 실제로 할 수 있는 일에 대해 잘못된 그림을 그리게 됩니다.

검토를 진행하기 위해 OpenAI는 먼저 286개의 의심스러운 과제를 표시한 자동화된 선별 도구를 배포했습니다. 이후 Codex 기반의 AI 에이전트가 각 사례를 상세히 검토했고, 마지막으로 인간 연구원이 최종 결정을 내렸습니다. 이 과정에서 200개의 과제(27.4%)가 결함이 있는 것으로 분류되었습니다. 병행된 검토에서 5명의 경험 많은 소프트웨어 개발자가 동일한 사례를 평가했고, 더 많은 249개의 과제(34.1%)를 결함으로 지적했습니다. 인간 검토자가 AI 에이전트보다 더 엄격했지만, 양측은 74%의 사례에서 의견이 일치했습니다.

공백 문자 하나가 합격과 불합격을 가를 수도 있습니다. OpenAI는 이러한 문제를 4가지 범주로 나누었습니다. 일부 테스트는 너무 엄격하여 실제로 작동하는 솔루션을 틀린 것으로 처리합니다. 다른 테스트는 너무 모호해서 숨겨진 테스트 케이스에 묻혀있는 요구 사항을 AI가 충족할 것을 기대합니다. 일부는 너무 단순하여 미완성된 솔루션도 통과시킵니다. 그리고 일부 과제 설명은 단순히 잘못된 방향을 가리키고 있습니다. OpenLibrary 프로젝트의 예시 중 하나를 보면, 과제 설명에서는 공백 1칸을 요구했지만 숨겨진 테스트는 2칸을 기대했습니다. 이 경우 지시사항을 올바르게 따른 AI조차 오답 처리됩니다.

이러한 과제들은 본래 인간 개발자 간의 협업을 위해 작성된 실제 소프트웨어 프로젝트의 커밋 기록(commit histories)에서 추출되었으며, AI 모델을 평가하기 위한 깔끔한 과제로 설계되지 않았습니다. OpenAI에 따르면, 이러한 프로젝트의 테스트는 범용 요구 사항으로 작용하기보단 하나의 특정 변경 사항을 검증하기 위해 제작되었기 때문에 너무 엄격한 경향이 있습니다.

731개의 과제로 구성된 공개 버전 테스트에서 최고 성능 모델들은 단 8개월 만에 23.3%에서 80.3%의 정확도로 크게 도약했습니다. SWE-Bench Pro는 OpenAI가 비슷한 이유로 이미 폐기했던 기존의 SWE-bench Verified를 대체하기 위한 목적이었습니다. 이번에는 OpenAI가 구체적인 대체재를 추천하지 않았습니다. 대신, 회사는 업계에 경험 많은 개발자들을 활용하여 속이기 어렵고 신뢰할 수 있으며 실질적인 의미가 있는 새로운 벤치마크를 구축할 것을 촉구했습니다.

6월 중순, 분석 업체인 Artificial Analysis는 이미 SWE-Bench Pro를 자체 '코딩 에이전트 지수(Coding Agent Index)' 순위에서 제외하고 Datacurve의 테스트인 DeepSWE로 교체했습니다. 그 이유는 SWE-Bench Pro가 일종의 꼼수로 공략(gameable)될 수 있었기 때문입니다. 일부 모델들은 실제로 과제를 해결하는 대신 프로젝트의 커밋 기록에서 정답을 그대로 복사해 왔습니다.

테스트가 교체되면서 순위표는 크게 뒤바뀌었습니다. Codex 기반 GPT-5.5 (xhigh)는 65점에서 76점으로 상승하며 73점을 기록한 Claude Code 기반 Opus 4.8 (max)를 제쳤고, Claude Code 기반 Fable 5 (max)가 77점으로 1위를 차지했습니다. SWE-Bench Pro에서 Codex 기반 GPT-5.5는 고작 31점에 그쳤던 반면, 다른 테스트에서는 64~84점을 기록했었습니다.

원문 보기

원문 보기 (영어)

OpenAI finds roughly 30 percent of popular AI coding test is broken Maximilian Schreiner View the LinkedIn Profile of Maximilian Schreiner Jul 9, 2026 Nano Banana Pro prompted by THE DECODER Key Points OpenAI is pulling its endorsement of the AI coding test SWE-Bench Pro after a review found roughly 30 percent of its tasks are flawed. The problems stem from the tasks being pulled from real software projects, making them too strict, too vague, or misleading for AI models. That skews the assessment of what AI can actually do. OpenAI is calling for more reliable benchmarks. Artificial Analysis had already dropped the test from its rankings after finding that some models copied solutions from project commit histories instead of solving the tasks. Ask about this article… Search OpenAI reviewed SWE-Bench Pro, a widely used test for measuring AI models' programming skills, and found roughly 30 percent of its tasks are broken. The company is pulling its earlier endorsement of the benchmark. Results from tests like these feed into decisions about whether and how to release a model, including safety assessments under OpenAI's Preparedness Framework. When a test contains errors, it can paint a misleading picture of what an AI can actually do. To run the review, OpenAI first deployed an automated screening tool that flagged 286 suspicious tasks. AI agents built on Codex then examined each case in detail before a human researcher made the final call. That process labeled 200 tasks (27.4 percent) as flawed. In a parallel review, five experienced software developers evaluated the same cases and flagged even more, 249 tasks (34.1 percent). The human reviewers were stricter than the AI agents, though both sides agreed in 74 percent of cases. Ad A single whitespace character can mean pass or fail OpenAI breaks the problems into four categories. Some tests are too strict, rejecting solutions that actually work. Others are too vague, expecting the AI to meet requirements buried in hidden test cases. Some tests are too shallow, letting incomplete solutions pass. And some task descriptions simply point in the wrong direction. One example from the OpenLibrary project: the task description called for a single space, but the hidden test expected two. An AI that correctly followed the instructions would fail. Ad DEC_D_Incontent-1 The tasks were pulled from the commit histories of real software projects, originally written for human collaboration, not designed as clean evaluation tasks for AI models. According to OpenAI, tests from those projects tend to be too strict because they were built to verify one specific change, not to serve as general-purpose requirements. On the public version of the test with 731 tasks, top models had jumped from 23.3 to 80.3 percent accuracy in just eight months. SWE-Bench Pro was meant to replace the older SWE-bench Verified, which OpenAI had already dismissed for similar reasons . This time, OpenAI doesn't recommend a specific replacement. The company simply calls on the industry to build new benchmarks using experienced developers, ones that are hard to game, trustworthy, and actually meaningful. Ad In mid-June, the analytics firm Artificial Analysis had already removed SWE-Bench Pro from its Coding Agent Index and swapped in DeepSWE, a test from Datacurve. The reason: SWE-Bench Pro was gameable. Some models had copied the correct solution from a project's commit history instead of actually solving the task. The switch reshuffled the leaderboard. Codex with GPT-5.5 (xhigh) climbed from 65 to 76 points and passed Claude Code with Opus 4.8 (max) at 73, while Claude Code with Fable 5 (max) took the top spot at 77 points. On SWE-Bench Pro, Codex with GPT-5.5 had scored just 31 points, compared to 64 to 84 on other tests. Ad DEC_D_Incontent-2 Ad AI News Without the Hype – Curated by Humans Subscribe to THE DECODER for ad-free reading, a weekly AI newsletter, our exclusive "AI Radar" frontier report six times a year, full archive access, and access to our comment section. Subscribe now Source: OpenAI | Artificial Analysis / Code-Ranking

OpenAI 벤치마크 SWE-Bench Pro AI 코딩 평가 지표

OpenAI, 세계 최고 알고리즘 대회서 인간 참가자 전원 격파

OpenAI의 최신 AI 에이전트가 세계적인 규모의 프로그래밍 대회인 AtCoder 월드 투어 결승전(Algorithm Division)에서 모든 인간 참가자를 제치고 1위를 차지했습니다. 이번 성과는 최근 몇 년간 특정 대회용으로 파인튜닝하지 않은 범용 추론 모델(GPT-5.6 기반)의 코딩 및 논리적 추론 능력이 인간의 최고 수준을 뛰어넘었음을 입증하는 중요한 이정표입니다.

OpenAI 알고리즘대회 인간능력초월