The Decoder • 7일 전

구글 딥마인드 'Dream-RSI', AI 에이전트가 과거 시도를 '꿈꾸며' 학습

IMP

7/10

핵심 요약

구글과 딥마인드 연구팀이 기존 탐색 기록을 재활용해 새로운 탐색 전략을 저렴하게 테스트하는 'Dream-RSI' 방법을 발표했습니다. 에이전트가 저장된 검색 결과를 재생('꿈')하며 수천 개의 전략 변형을 시험하고 최적의 전략을 실제 탐색에 적용하는 방식입니다. Gemini 3.1 Pro 테스트에서 시도 횟수를 550회에서 317회로 줄이면서도 기존 라이브러리보다 빠른 코드를 찾아냈습니다.

번역된 본문

구글 딥마인드의 Dream-RSI는 AI 에이전트가 과거 시도를 '꿈꾸며' 개선하도록 돕는 기술이다. 2026년 9월 19일, THE DECODER 보도.

구글과 딥마인드의 연구진이 AI 에이전트가 어려운 탐색 작업을 더 효율적으로 수행하도록 돕는 방법을 개발했다. 이 방법은 비용이 많이 드는 계산을 반복하지 않고도 과거 탐색 실행 데이터를 활용해 새로운 전략을 테스트할 수 있게 한다.

자가 개선형(self-improving) AI 에이전트는 언젠가 스스로 새로운 알고리즘, 수학 문제의 해답, 더 빠른 코드를 발견하는 것을 목표로 한다. 이들은 해결책을 제안하고, 결과를 평가하고, 그로부터 학습하고, 다시 시도하는 기본적인 과정을 따른다. 수천 번의 시도를 거치며 점진적으로 좋은 결과에 도달해 간다.

복잡한 작업의 경우 탐색 공간이 어마어마하게 커진다. 에이전트는 어떤 유망한 접근을 추구할지, 무엇을 병렬로 시도할지, 무엇을 포기할지 끊임없이 결정해야 한다. 이 '탐색(exploration)' 과정은 탐색의 성패, 혹은 잘못된 방향에 컴퓨팅 자원을 낭비할지를 좌우한다.

구글과 딥마인드 연구팀은 이러한 결정을 개선하기 위해 'Dream-RSI'를 발표했다. 이 방법은 기반이 되는 AI 모델이 아니라 에이전트가 탐색하는 방식을 바꾼다.

기존 접근법은 일반적으로 두 가지 방식으로 탐색을 처리한다. 고정된 탐색 전략은 경험에서 학습하지 못해 에이전트가 같은 막다른 길에 반복해서 부딪힐 수 있다. 탐색 중에 전략을 적응시키면 이런 경직성은 피할 수 있지만 비용이 따른다. 전략이 작동하는지 확인하려면 많은 시도가 필요하며, 수많은 대안을 테스트한다는 것은 길고 비싼 실행을 반복해야 한다는 뜻이기 때문이다.

과거 탐색의 재생으로 새 전략 테스트 비용 절감

연구진은 완료된 탐색의 데이터를 재활용해, 에이전트가 이미 탐색한 공간 안에서 대안 전략을 테스트할 것을 제안한다. 에이전트는 탐색하면서 자신의 시도와 결과를 기록하고, 나중에 그 결정들을 재생(replay)하는 데 필요한 데이터를 제공한다.

연구진은 이를 낯선 지역에서 길을 찾는 것에 비유한다. 첫 방문에서는 막다른 길에 부딪히고 되돌아가면서 경로를 찾는 데 애먹는다. 하지만 일단 머릿속 지도가 생기면 모든 장소를 다시 방문하지 않고도 다른 경로를 계획할 수 있다.

Dream-RSI는 이 원리를 기록된 탐색 이력에 적용한다. 에이전트는 새 전략을 실제 실행이 아닌 저장된 결과에 대해 실행한다. 이를 통해 다른 접근을 먼저 추구했거나 일찌감치 포기했다면 어떤 일이 일어났을지 확인할 수 있다.

이 시스템은 재생 중에 완전히 새로운 해결책을 발명하지 않는다. 기록된 탐색 트리 안에서 서로 다른 결정을 테스트할 뿐이다. 결과가 이미 존재하기 때문에 에이전트는 해결책을 다시 생성하거나 평가할 필요가 없어, 실제 실행에 필요한 비싼 계산을 피할 수 있다. 덕분에 새 탐색 전략을 테스트하는 비용이 훨씬 저렴해진다.

연구진은 이 과정을 '꿈꾸기(dreaming)'라고 부른다. 에이전트는 수천 개의 변형을 재생해 보고 최고의 것을 선택한 뒤 실제 탐색에 투입한다. 이 과정은 루프로 반복된다. 매 탐색 후 에이전트는 기록된 결과로 더 나은 전략을 테스트하고, 개선된 버전을 다음 실제 실행에 적용한다. 이 순환 전체에서 변경되는 것은 탐색 전략뿐이며, 해결책을 생성하는 모델은 그대로 유지된다.

Dream-RSI는 더 적은 시도로 더 나은 해결책 발견

연구진은 Dream-RSI를 Gemini 3.1 Pro와 Gemini 3.7 Flash로 세 분야 여덟 과제에서 테스트했다. 각 비교에는 동일한 시작 조건에 고정된 탐색 전략을 쓰는 베이스라인이 사용됐다.

한 과제는 유전체학과 금융에서 흔히 쓰이는 통계 계산에 대해 가장 빠른 프로그램을 작성하는 것이었다. Dream-RSI의 프로그램은 6개 테스트 데이터셋 모두에서 기존 라이브러리인 sklearn과 glmnet보다 빠르게 실행됐다.

Gemini 3.1 Pro에서 평균 실행 시간은 3,587밀리초에서 2,931밀리초로 줄었고, 시도 횟수는 550회에서 317회로 감소했다. Dream-RSI는 경쟁 시스템인 SimpleTES보다도 뛰어났는데, SimpleTES는 51,200회의 실행이 필요했던 반면 Dream-RSI는 317회의 시도만으로 같은 성과를 냈다. 같은 패턴이 다른 과제들에서도 나타났다.

원문 보기

원문 보기 (영어)

Google Deepmind's Dream-RSI helps AI agents improve by “dreaming” about past attempts Jonathan Kemper View the LinkedIn Profile of Jonathan Kemper Sep 19, 2026 Nano Banana Pro prompted by THE DECODER Researchers at Google and Deepmind have developed a method that helps AI agents tackle difficult search tasks more efficiently. It uses past search runs to test new strategies without repeating costly computations. Self-improving AI agents are supposed to one day discover new algorithms, solutions to math problems, or faster code on their own. They follow the same basic process of proposing a solution, evaluating the result, learning from it, and trying again. Over thousands of attempts, they gradually work toward a good result. For complex tasks, the search space can grow enormous. The agent must constantly decide which promising approaches to pursue, which to try in parallel, and which to abandon. This process, called exploration, can determine whether the search succeeds or wastes compute chasing the wrong ideas. A research team from Google and Deepmind has introduced " Dream-RSI " to improve those decisions. The method changes how the agent searches, not the underlying AI model. Existing approaches generally handle exploration in two ways. A fixed search strategy can't learn from experience, so the agent may repeatedly hit the same dead ends. Adapting the strategy during a search avoids that rigidity but comes at a cost. It takes many attempts to find out whether a strategy works, and testing countless alternatives would mean repeating long, expensive runs. Replaying past searches makes new strategies cheaper to test The researchers propose reusing data from a completed search to test alternative strategies within the space the agent has already explored. The agent records its attempts and their results as it searches, providing the data needed to replay those decisions later. The researchers compare this to finding your way through an unfamiliar area. On your first visit, you hit dead ends, double back, and struggle to find a route. Once you have a mental map, though, you can plan another route without visiting every spot again. Dream-RSI applies that principle to recorded search histories. Rather than testing a new strategy in a live run, the agent runs it against stored results. This lets it check what would have happened if it had pursued other approaches first or abandoned some earlier. The system doesn't invent entirely new solutions during replay; it tests different decisions within the recorded search tree. Because those results already exist, the agent doesn't need to generate or evaluate solutions again, avoiding the expensive computations a live run would require. That makes testing new search strategies much cheaper. The researchers call this process "dreaming." The agent plays through thousands of variations and selects the best one before putting it to work in a live search. The process repeats in a loop. After each search, the agent uses the recorded results to test better strategies, then applies the improved version to its next live run. Throughout this cycle, only the search strategy changes; the model generating the solutions remains untouched. Dream-RSI finds better solutions with fewer attempts The researchers tested Dream-RSI with Gemini 3.1 Pro and Gemini 3.7 Flash on eight tasks across three areas. Each comparison used a baseline with the same starting conditions but a fixed search strategy. One task asked the system to write the fastest possible program for a statistical calculation commonly used in genomics and finance. Dream-RSI's program ran faster than the established libraries sklearn and glmnet on all six test datasets. With Gemini 3.1 Pro, average runtime fell from 3,587 to 2,931 milliseconds, while the number of attempts dropped from 550 to 317. Dream-RSI also outperformed a competing system called SimpleTES, which needed 51,200 runs, compared with Dream-RSI's 317 attempts. The same pattern held for math optimization tasks and efforts to write efficient GPU kernels, with comparable or better results at much lower computational cost. On two GPU tasks, Dream-RSI matched performance while cutting the number of runs by a factor of up to 2.43. On two others, it delivered up to 2.09 times the performance within the same budget. Explicit instructions can limit exploration In a follow-up analysis, the researchers tested another way to use search histories. Instead of replaying them to test strategies, they condensed them into instructions telling the agent where to search. On one GPU task, the version with these instructions performed worse than the version without them. The researchers suggest that overly specific directions can narrow the search space too much, preventing the agent from exploring a broader range of approaches. The same analysis showed how the learned strategy adjusted its effort. As performance improved, it initially reduced the number of attempts. When progress stalled, it increased the search effort again, which coincided with further gains. The researchers have shared code and more details on GitHub . Recursive self-improvement has drawn growing attention lately. Developments in this field are part of why Anthropic CEO Dario Amodei recently warned about the pace of AI research . Google Deepmind introduced AlphaEvolve in 2025, using the same basic principle. Gemini Flash generates code proposals, Gemini Pro analyzes them, and an evolutionary algorithm selects the best versions. Dream-RSI works one level above that process by optimizing the search strategy itself. AutoTTS takes a related approach, using a coding agent to search for algorithms in a simulated environment. These algorithms decide when a language model should start, expand, or abandon reasoning paths. The resulting methods beat manually designed methods while using less compute. Google Research recently presented a different way to reuse past runs with WikiSkill . That system records failures and successes in a wiki and turns them into reusable instructions for the agent. Dream-RSI's follow-up analysis suggests that explicit instructions like these can restrict exploration on open-ended search tasks. Meta goes further with Hyperagents , allowing agents to rewrite the mechanism that controls how they improve. AI News Without the Hype – Curated by Humans Subscribe to THE DECODER for ad-free reading, a weekly AI newsletter, our exclusive "AI Radar" frontier report six times a year, full archive access, and access to our comment section. Subscribe now --> Read on for the full picture. Subscribe for hype-free coverage. Full access to every article on THE DECODER No ads Join the comments and community discussions A weekly AI news recap via mail 6x/year: "AI Radar" — deep dives on the AI topics that matter most Daily AI news, always up to date Our full ten-year archive Covered by a team with 10+ years in AI Subscribe to The Decoder -->

구글 딥마인드 AI 에이전트 자기 개선 탐색 전략 Gemini