엔비디아 연구진이 메모리 관리와 '슈퍼바이저' 구성요소가 포함된 커스텀 하니스를 사용해 Claude Opus 5를 ARC-AGI-3 벤치마크에서 100% 점수를 달성했다고 발표했다. 하니스 없이는 최고 모델도 30%에 그쳤으며, 이는 에이전트 시스템에서 모델 선택만큼 모델을 둘러싼 도구·런타임·메모리 체계가 결정적임을 보여준다. 오픈AI도 하니스 설정 조정만으로 점수를 3배 끌어올린 바 있어, 장기 과업 수행에서 하니스 설계의 중요성이 커지고 있다.
번역된 본문
엔비디아는 금요일, AI에게 장기 과업(long-horizon task)을 수행시킬 때 기저 모델보다 '하니스(harness)'가 훨씬 더 중요하다는 흥미로운 새 연구를 발표했다. 요약하면, 메모리를 잘 처리하도록 조정된 커스텀 하니스와 '슈퍼바이저'라는 상사 역할 구성요소를 포함시키는 것만으로, 연구진은 Claude Opus 5가 인터랙티브 추론 벤치마크 ARC-AGI-3에서 100% 점수를 달성하게 했다. (이 벤치마크는 특히 경쟁 프론티어 랩인 오픈AI를 당황하게 만든 것이다.) 하니스 없이 Opus 5는 30%를 기록했는데, 이는 테스트된 모든 모델 중 최고 성적이었다. 엔비디아의 연구는 모델 선택이 분명 중요하기는 하지만—에이전트의 두뇌 역할을 하니—많은 AI 사용자가 인식하는 것보다 에이전트 시스템에서 차지하는 비중이 작다는, 또 하나의 증거다. 특히 장기 과업에서 그렇다. 하니스는 모델을 에이전트로 만들어주는 것으로, 메모리, 컨텍스트, 피드백을 처리한다. "대체로 세상은 에이전트를 거의 모델의 API처럼 해석한다"고 엔비디아 AI 부문 제품 부사장 아델 엘 할락(위 사진)이 테크크런치에 말했다. 하지만 에이전트는 실제로 그 이상이다. "에이전트는 모델이며, 모델을 둘러싸고 있는 구조—우리가 하니스라고 부르는, 즉 모델이 사용하는 도구 집합—이며, 런타임과 우리가 접근 권한을 주는 관련 기술과 라이브러리다." 장기 과업이란 완성된 작업을 만들어내기 위해 때로는 며칠에 걸쳐 많은 결정을 연결해야 하는 과업을 말한다. 이는 AI가 프롬프트에 대해 응답을 뱉어내는 것과 대조된다. AI가 주의가 분산되거나 엉뚱한 방향으로 새지 않고 장기 과업을 수행하게 하는 방법을 알아내는 것은 에이전트 연구의 성배 중 하나다. 예를 들어, 마이크로소프트는 4월에 문서 편집이 포함된 장기 과업에서 19개 LLM을 테스트한 연구를 발표했는데, 프론티어 모델을 포함한 모든 모델이 문서를 오류로 가득 채웠다. (인간이 이런 결과물을 냈다면 즉시 해고됐을 것이다.) 스스로 결정을 연결해나가던 모델들은 사용자의 파일이나 심지어 전체 데이터베이스를 삭제하거나, 목표 달성을 위해 공모부터 해킹까지 범죄적 행동으로 돌아서는 사례도 적발됐다. 엔비디아 연구진이 테스트에 이 인터랙티브 추론 벤치마크를 선택한 것은 특히 의미 있고, 거의 우스울 정도다. 이 벤치마크는 설명서 없는 2D 게임 모음이다. 모델은 어떻게 플레이하고 이기는지 스스로 알아내야 한다. 100% 점수는 모델이 인간만큼 잘 게임을 깰 수 있다는 뜻이다. 오픈AI는 자사 모델의 ARC-AGI-3 처참한 점수(10% 미만)에 당황해 지난달 자체 연구를 진행했다. 엔비디아처럼 오픈AI도 하니스의 설정 두 가지만 조정해 모델 점수가 3배로 늘어난다는 것을 발견했다. 하지만 엔비디아 연구진이 달성한 것처럼 100% 점수에 근접한 모델은 없었다. 엔비디아 연구진은 하니스에 에이전트가 막힐 때 올바른 방향으로 밀어주는 '슈퍼바이저' 구성요소가 필요함을 보여줬다. "더 흥미로운 부분은 실제 작업을 수행하는 메인 에이전트에 더해 감독 에이전트를 도입한 것이었다"고 엘 할락은 말했다. 이것은 "거의 CEO처럼 작동해 에이전트가 방향을 벗어나거나 막다른 길로 이어질 수 있는 경로를 탐색하거나, 이전에 밟았던 경로를 다시 탐색하기 시작할 때 살짝 찔러준다." 감독 에이전트 개념이 완전히 새로운 것은 아니지만, 현재 대부분의 에이전트 사용자는 Claude Code, Codex, Hermes 등 한 층의 하니스에만 의존하고 있다. 엔비디아 연구진은 '에이전틱 배리에이션 오퍼레이터(Agentic Variation Operators, AVO)'라는 자체 강화형 하니스를 만들었다. 이것이 새로운 엔비디아 제품은 아니다. 엔비디아는 대신 Nemo 브랜드 하에 하니스 구축을 위한 많은 기술 조각들을 공개하고 있다. 일부는 상업용이고 상당수는 무료 공개돼 있다. 그럼에도 엔비디아의 결과는 에이전트 성능에서 모델 선택이 결코 유일한 요인이 아니라는 커지는 증거에 힘을 보탠다. 예컨대 7월에는 데이터브릭스가 하니스가 모델보다 성능을 극적으로 (본문 여기서 잘림)
Nvidia published some interesting new research on Friday suggesting it's the harness, more than the underlying model, that is far more important when asking an AI to do long-horizon tasks. The tldr: simply by using a custom harness tweaked to handled memory well and including a "supervisor" boss-like component, researchers got Claude Opus 5 to achieve a 100% score on the interactive reasoning benchmark ARC-AGI-3. (That's a benchmark that has particularly irked rival frontier lab OpenAI.) Without the harness Opus 5 scored 30%, which was the top result among all the models tested. Nvidia's research is another indicator that, while model choice does matter, acting like the agent's brain, it is a smaller part of an agentic system than many AI users realize, especially for long-horizon tasks. The harness is what makes a model an agent: it handles memory, context, feedback. "Generally speaking the world interprets an agent almost as an API of the model," Adel El Hallack, vice president of product in Nvidia's AI unit (pictured above), tells TechCrunch. But an agent is actually more than that. "It is the model. It is the scaffolding around the model, which we call the harness, i.e. the set of tools that it utilizes. It is the runtime and the associated skills and libraries that we give it access to." Long-horizon tasks are those that require stringing many decisions together, sometimes over days, to produce completed work. This is in contrast to an AI just spitting out a response to a prompt. Figuring out how to get an AI to do long-horizon tasks without getting distracting and going off in la-la land is one of the holy grails in agentic research. For example: Microsoft published research in April that tested 19 LLMs on long-horizon tasks involving document editing and discovered that all the models, including frontier ones, filled the documents with errors. (If humans produced work like that, they would be promptly fired.) Models stringing decisions together on their own have also been caught deleting their users' files, even whole databases or turning to criminal behavior to achieve their objectives from collusion to hacking . The choice by Nvidia researchers to use this interactive reasoning benchmark for their tests is particularly meaningful, almost funny. This is a benchmark of a bunch of 2D games with no instructions. The model has to figure out how to play and win. A 100% score means that the model can beat the games as well as humans. OpenAI was so flustered by its models' abysmal scores (less than 10%) on ARC-AGI-3 that it conducted its own research last month. Like Nvidia, OpenAI discovered that simply by tweaking two setting on the harness, its models tripled their scores. But none of the models came close to hitting a 100% score, like Nvidia's researchers achieved. They showed that the harnesses needs a "supervisor" component that prods the agent in the right direction if it gets stuck. "The more interesting part was introducing a supervising agent in addition to your main agent that's doing the work," El Hallack said. It "almost acts like a CEO to nudge the agent when it goes off direction or starts exploring a path that it might lead to a dead end, or re-ex explore a path that it had previously trod." While the concept of the supervising agent isn't exactly new, today most agent users are relying on only one layer for their harness, like Claude Code, Codex, Hermes, etc. Nvidia researchers created their own souped-up harness called the Agentic Variation Operators (AVO). Note that this isn't a new Nvidia product. Nvidia instead produces lots of open bits and pieces of tech for building harnesses under the Nemo brand. Some of that tech is commercial, much is openly available. Still, Nvidia's results adds to the growing evidence that model choice is far from the only factor in agentic performance. In July, for instance, Databricks published some stunning research that shows that the harness, more than model, dramatically impacts AI costs. "You can pick the same model but different harnesses, and you get significantly more cost if you use the wrong harness," Databricks CEO Ali Ghodsi told TechCrunch. "So you think, oh, this is an expensive model. This is a cheap model. But wait, which harness are you using? That itself can 2x your cost." Nvidia's larger point does is to show that open harnesses, like open models, put users in control far more than they realize. "We believe, and we're demonstrating with the ecosystem, how open harnesses allow you to turn a lot more knobs to drive up that accuracy," El Hallack said. "It relates to OpenAI slowing down the training of their models," as a result of models creating security breaches. "We believe in having an open agent stack — where you have control across the harness, across the infrastructure, across the runtime — is what's required for us to usher the ecosystem forward and securely," he added. Topics AI , Exclusive , nvidia When you purchase through links in our articles, we may earn a small commission . This doesn’t affect our editorial independence. Julie Bort Venture Editor Julie Bort is the Startups/Venture Desk editor for TechCrunch. You can contact or verify outreach from Julie by emailing julie.bort@techcrunch.com or via @Julie188 on X. View Bio October 13 - 15 San Francisco In less than 48 hours, your chance to save up to $300 on your tickets will end! REGISTER NOW Most Popular Home batteries are suddenly cheap and everywhere. Here’s why. Tim De Chant Cursor capitalizes on GitHub frustration, launches rival hosting platform Lucas Ropek Etched's valuation doubles to $21B in a month Julie Bort AI automation startup Relay shuts down, staff joins Google's Chrome team Lucas Ropek Stripe will reportedly acquire AI gateway startup OpenRouter for $7B+ Anthony Ha Anthropic shares more details about how Claude’s new watermarks will work Anthony Ha 7 desk gadgets that can make your workday better Aisha Malik