The Decoder • 41일 전

엔비디아, 스스로 학습하는 AI 코딩 에이전트 로봇 연구

IMP

9/10

핵심 요약

엔비디아, 카네기멜론, UC 버클리 연구진은 AI 코딩 에이전트가 로봇을 스스로 훈련시키는 'ENPIRE' 프레임워크를 개발했습니다. 8개의 로봇이 협력해 핀 조립, 케이블타이 절단 등 까다로운 실제 작업에서 최대 99%의 성공률을 달성했습니다. 이는 로봇 학습 과정에서 인간의 개입을 획기적으로 줄여 학습 시간과 비용을 크게 단축할 수 있는 중요한 기술 패러다임 전환을 보여줍니다.

번역된 본문

엔비디아 연구, AI 코딩 에이전트를 통해 스스로 훈련하는 로봇 공개 막시밀리안 슈라이너(Maximilian Schreiner) / 2026년 6월 17일

엔비디아, 카네기 멜런 대학교(Carnegie Mellon University), UC 버클리(UC Berkeley)의 연구진이 AI 코딩 에이전트를 활용해 실제 환경에서 로봇에게 섬세한 물건 잡기(dexterous grasping) 기술을 가르치고 있습니다. 8대의 로봇으로 구성된 팀은 까다로운 작업에서 최대 99%의 성공률을 기록했습니다.

로봇이 섬세하게 물건을 잡고 조작하는 것을 배우는 것은 여전히 어렵습니다. 인간은 훈련 데이터 수집, 매 시도 후 장면 초기화, 알고리즘 미세 조정 등 모든 단계에 개입해야 합니다. 이러한 수동 작업은 전체 과정을 느리게 만듭니다.

엔비디아, 카네기 멜런 대학교, UC 버클리의 공동 연구 프로젝트인 'ENPIRE'는 이러한 병목 현상을 해결하기 위해 작업을 AI 코딩 에이전트에게 맡기는 것을 목표로 합니다. 핵심 아이디어는 실제 하드웨어에서 실행되는 피드백 루프입니다. 작업 공간을 초기화하고, 전략을 실행하며, 결과를 확인한 뒤 다음 시도를 개선하는 방식입니다.

에이전트가 자체적인 평가 도구를 구축하다 ENPIRE는 두 단계로 실행됩니다. 첫 번째 단계에서 에이전트는 약간의 인간 피드백을 바탕으로 작업 환경을 설정합니다. 여기에는 안전 경계 설정, 자동 초기화, 자동 성공 확인 기능이 포함됩니다. 인간이 매번 시도를 평가하는 대신, 에이전트는 스스로 성공과 실패를 구분하기 위한 보상 함수(reward function)를 작성합니다. 성공 및 실패 사례를 보여주는 몇 분 길이의 예시 영상만 있으면 됩니다.

예를 들어, 핀을 끼워 넣는 작업에서 에이전트는 시각적 정렬, 그리퍼 높이, 예상되는 힘을 결합한 확인 방식을 개발했습니다. 케이블 타이를 조이는 작업에서는 오탐지를 피하기 위해 두 대의 카메라 각도를 결합했으며, 반응 시간을 150밀리초 이하로 줄였습니다. 이러한 도구들은 한 번 구축되면 변경 없이 계속 재사용됩니다.

두 번째 단계에서 에이전트는 완전히 독립적으로 작동합니다. 에이전트는 연구 논문을 읽고, 가설을 세우고, 훈련 코드를 직접 수정합니다. 인간의 시범을 모방하는 행동 복제(behavior cloning)나 시행착오를 통해 전략을 개선하는 강화 학습(reinforcement learning) 같은 방법을 사용합니다. 에이전트는 실제 환경에서의 성공 신호를 기반으로 스스로 최적의 방법을 선택합니다.

Git(깃)을 통해 협업하는 로봇 군집 ENPIRE는 전체 로봇 군집(fleet)으로 확장됩니다. 각각 자체 하드웨어, 컴퓨터, 코딩 에이전트를 갖춘 8개의 양팔 YAM 로봇 스테이션이 이에 해당합니다. 에이전트들은 동시에 다양한 가설을 테스트하며, 소프트웨어의 표준 버전 관리 도구인 Git(깃)을 통해서만 결과를 공유합니다. 이들은 서로의 성공적인 훈련 레시피를 채택하고 잘못된 아이디어는 스스로 폐기합니다. 한 스테이션에서 발견된 돌파구는 전체 로봇 군집에 즉각적으로 전파됩니다.

연구에 따르면, 에이전트들은 로봇이 T자 모양의 블록을 목표 위치와 방향으로 밀어 넣어야 하는 Push-T 테스트, 상자에 핀 분류하기, 커터로 케이블 타이 자르기 등 까다로운 작업에서 최대 99%의 성공률을 달성했습니다. 핀 끼우기 작업에서는 전략이 인간이 개입하는 기존 방식보다 100% 더 빠르게 수렴했습니다.

규모를 키우면 시간 절약 효과도 큽니다. Push-T 테스트에서 에이전트가 1개일 때 8개로 늘리자, 완전한 성공에 이르는 시간이 약 5시간에서 2시간으로 단축되었습니다. 핀 끼우기 작업에서는 90분 이상 걸리던 것이 약 40분으로 줄었습니다. 연구진은 최신 코딩 에이전트 세 가지(Codex with GPT-5.5, Claude Code with Opus 4.7, Kimi Code with Kimi K2.6)를 테스트했습니다. 대부분의 경우 Codex가 가장 우수한 성능을 보였습니다.

여전히 가장 어려운 테스트는 '현실 세계' 결과는 또한 현실 세계가 시뮬레이션보다 여전히 훨씬 더 어렵다는 것을 보여줍니다. Push-T 테스트에서 세 가지 에이전트 모두 시뮬레이션에서는 작업을 해결했지만, 실제 환경에서는 세 개 중 두 개가 실패했습니다. 연구진은 이를 로봇 역학, 마찰력, 물체 이동과 같은 예측 불가능하고 가변적인 조건 때문이라고 분석했습니다.

RoboCasa 시뮬레이션에서 ENPIRE는 엔드투엔드 비전-언어-행동 모델(GR00T)과 자동 연구 기능이 없는 도구 기반 방식(CaP-X)을 모두 이겼습니다. 효율성을 측정하기 위해 연구진은 두 가지 지표를 제안합니다. 하나는 연구 시간 중 실제 로봇이 작동하는 데 쓰는 시간을 추적하는 '평균 로봇 활용도(MRU)'이며, 다른 하나는 토큰 사용 효율을 측정하는 '평균 토큰 활용도(MTU)'입니다.

원문 보기

원문 보기 (영어)

Nvidia research shows robots that train themselves through AI coding agents Maximilian Schreiner View the LinkedIn Profile of Maximilian Schreiner Jun 17, 2026 Nano Banana Pro prompted by THE DECODER Researchers from Nvidia, Carnegie Mellon University, and UC Berkeley are using AI coding agents to teach robots dexterous grasping in the real world. A fleet of eight robots hits up to 99 percent success on tricky tasks. Dexterous grasping and manipulation are still hard for robots to learn. Humans have to stay involved at every step: collecting training data, resetting the scene after each attempt, and tweaking algorithms. That manual overhead slows everything down. ENPIRE , a research project from Nvidia, Carnegie Mellon University, and UC Berkeley, aims to break through that bottleneck by handing the work to AI coding agents. The core idea is a feedback loop running on real hardware: reset the workspace, run a strategy, check the result, and improve the next attempt. The agent builds its own evaluation tools ENPIRE runs in two phases. In the first, the agent sets up a working environment with some human feedback. That includes safety boundaries, an automatic reset, and automated success checking. Instead of having a human evaluate every attempt, the agent writes its own reward function to tell success from failure. It only needs a few minutes of example video showing successful and failed attempts. For pin insertion, for example, the agent developed a check combining visual alignment, gripper height, and estimated force. For closing a cable tie, it combined two camera angles to avoid false positives and pushed reaction time below 150 milliseconds. These tools get built once and reused without changes. In the second phase, the agent works entirely on its own. It reads research papers, forms hypotheses, and edits the training code directly. It uses methods like behavior cloning, where the strategy mimics human demonstrations, or reinforcement learning, where the strategy improves through trial and error. The agent picks the method itself based on real-world success signals. A robot fleet that coordinates through Git ENPIRE scales to a full fleet: eight dual-arm YAM robot stations, each with its own hardware, computer, and coding agent. The agents test different hypotheses at the same time and share results only through Git, the standard version control tool for software. They adopt successful training recipes from each other and discard bad ideas on their own. A breakthrough discovered at one station spreads across the entire fleet. According to the study, the agents hit up to 99 percent success on demanding tasks like the Push-T test - where the robot has to slide a T-shaped block into a target position and orientation - sorting pins into a box, and cutting a cable tie with a cutter. For pin insertion, the strategy converged to 100 percent faster than a comparable human-in-the-loop method. Scaling pays off in time, too. On the Push-T test, going from one to eight agents cut the time to full success from about five hours to two. For pin insertion, it dropped from over 90 minutes to roughly 40. The researchers tested three current coding agents: Codex with GPT-5.5, Claude Code with Opus 4.7, and Kimi Code with Kimi K2.6. Codex performed best in most cases. The real world is still the hardest test The results also show that the real world is still far harder than simulation. On the Push-T test, all three agents solved the task in simulation, but two out of three failed in the real environment. The researchers blame unpredictable and variable conditions like robot dynamics, friction, and object movement. In the RoboCasa simulation, ENPIRE beat both an end-to-end vision-language-action model ( GR00T ) and a tool-based approach without autoresearch ( CaP-X ). To measure efficiency, the researchers propose two metrics: Mean Robot Utilization (MRU) tracks how much research time the robot actually spends working, while Mean Token Utilization (MTU) counts language model usage per minute. Learned skills also transfer: experience from pin insertion helped the agents slot GPUs into a motherboard using the robot arms. The study is clear about its limits, though. Robots and compute don't get fully used because agents spend a lot of time reading logs, writing code, and waiting. The more robots in the fleet, the lower the per-robot utilization as agents spend more time summarizing each other's results. Token costs also grow faster than performance gains: larger fleets reach the goal sooner but burn through far more compute budget to get there. Still, the researchers see ENPIRE as a practical path toward robots that can improve on their own in the real world. AI News Without the Hype – Curated by Humans Subscribe to THE DECODER for ad-free reading, a weekly AI newsletter, our exclusive "AI Radar" frontier report six times a year, full archive access, and access to our comment section. Subscribe now --> Read on for the full picture. Subscribe for hype-free coverage. Access to all THE DECODER articles. Read without distractions – no Google ads. Access to comments and community discussions. Weekly AI newsletter. 6 times a year: “AI Radar” – deep dives on key AI topics. Up to 25 % off on KI Pro online events. Access to our full ten-year archive. Get the latest AI news from The Decoder. Subscribe to The Decoder -->

로봇공학 AI 코딩 에이전트 엔비디아 자동화 강화학습