메뉴
BL
The Decoder • 55일 전

메타 AI, 두 번째 AI를 '기억 코치'로 활용해 장기 작업 성공률 향상

IMP
8/10
핵심 요약

메타 AI 연구진이 긴 작업을 수행하는 AI가 겪는 맥락 망각 및 반복적 실수 문제를 해결하기 위해, 별도의 '메모리 에이전트(Memory Agent)'를 도입했습니다. 이 메모리 에이전트는 실행 기록을 추적하고 언제 작업 에이전트에게 적절한 리마인더를 제공할지 스스로 판단하여 작업 성공률을 크게 높입니다. 두 에이전트의 협업 구조는 기존 AI 모델에 플러그앤플레이 형태로 쉽게 적용할 수 있어 복잡한 자동화 작업의 안정성을 높이는 데 중요한 의미를 갖습니다.

번역된 본문

메타 AI, 두 번째 AI를 기억 코치로 활용해 긴 작업의 궤도를 유지하다 Jonathan Kemper / 2026년 8월 2일

긴 작업을 수행하는 동안 AI 에이전트들은 종종 제약 조건을 잊어버리고, 실패한 명령어를 반복하며, 이미 진단했던 오류를 다시 새롭게 발견하는 실수를 범합니다. 메타 AI가 제안한 메모리 모듈은 이러한 정보를 추적하고 언제 이를 에이전트에게 상기시킬지 결정합니다.

새로운 논문에서 메타 AI 연구진은 이러한 실패가 어떻게 발생하는지 설명합니다. 예를 들어, 에이전트가 초기에 특정 제약 조건을 인식했다가 나중에 무관한 버그를 수정하면서 그 조건을 위반합니다. 또한 특정 명령이 실패한 것을 확인하고도 곧 거의 동일한 명령을 다시 시도합니다. 오류 패턴을 진단했음에도 나중에 동일한 패턴을 새로운 것으로 간주하기도 합니다. 저자들은 이를 '행동 상태 붕괴(behavioral state decay)'라고 부릅니다.

에이전트의 결정을 안내하는 상태 데이터가 계속 늘어나는 작업 기록에 흩어지면서 이러한 문제가 발생합니다. 정보가 문맥 창(context window) 깊숙이 묻히거나 아예 창 밖으로 밀려날 수 있습니다. 심지어 정보가 기록이나 문맥 창에 남아 있다 하더라도, 에이전트의 실제 행동을 안정적으로 지배하지 못할 수 있습니다. 메타 AI는 단순히 에이전트에게 더 긴 기록을 볼 수 있게 해주는 것만으로는 문제가 해결되지 않는다고 강조합니다.

메모리가 필요한 순간을 결정하다 기존의 메모리 시스템은 주로 정보의 저장, 업데이트, 검색에 초점을 맞춥니다. 논문에 따르면 이러한 방식은 세션 간 개인화나 정보 회상에는 잘 작동합니다. 하지만 실제 작업을 수행하는 에이전트는 또 다른 문제에 직면합니다. 시스템은 특정 메모리가 다시 불러올 만큼 유용한지를 스스로 결정해야 합니다. 상기시켜 주는 횟수가 너무 적으면 똑같은 실수가 반복되고, 반대로 너무 많으면 지연 시간(latency)이 길어지고 토큰이 소모되며 현재 수행 중인 작업에서 주의가 분산됩니다.

이는 단순한 요약을 넘어선 기능입니다. 일반적인 요약 모델은 어떤 정보를 보관할지만 결정하지만, 메타의 시스템은 저장된 실행 상태가 에이전트의 다음 행동에 영향을 미쳐야 하는지 여부를 결정합니다. 실패 패턴은 작업마다 크게 달라지므로 고정된 요약 규칙만으로는 이를 안정적으로 판단할 수 없습니다.

두 번째 에이전트가 발언 시기를 결정한다 제안된 시스템은 기존 '실행 에이전트(Action Agent)'를 그대로 사용하되, 별도의 '메모리 에이전트(Memory Agent)'와 짝을 이룹니다. 메모리 에이전트는 정해진 간격마다 최근 단계를 보여주는 슬라이딩 창(sliding window)을 검토하고 구조화된 메모리 뱅크를 업데이트합니다. 그런 다음 실행 에이전트의 다음 호출에 짧은 리마인더를 추가할지, 혹은 침묵할지 결정합니다.

저자들은 이 모듈이 기존 에이전트 및 프레임워크와 함께 플러그앤플레이(plug-and-play) 구성 요소로 작동할 수 있다고 밝혔습니다. 일반적인 자문 모델과 달리, 이 모델은 오직 메모리 기반의 리마인더만 제공하며 광범위한 전략적 조언은 하지 않습니다.

메모리 뱅크는 세 가지 섹션으로 나뉩니다. '개인 상태 필드(Private status field)'는 진행 상황과 미해결 위험을 추적하며 실행 에이전트에게는 절대 공개되지 않습니다. '지식 메모리(Knowledge Memory)'는 요구 사항, 파일 경로, 설정 등 안정적인 사실을 저장합니다. '절차 메모리(Procedural Memory)'는 에이전트가 시도한 내용과 그 결과를 기록하며, 여기에는 실패한 명령, 성공적인 수정, 기각된 가설 등이 포함됩니다. 각 메모리 단계에서 에이전트는 자유롭게 내용을 덮어쓰는 것이 아니라 미리 정의된 도구 호출(tool calls)을 통해서만 메모리 뱅크를 업데이트할 수 있습니다. 이후 저장된 상태를 재활성화할지 결정하고, 필요한 경우 핵심을 찌르는 맞춤형 리마인더를 작성합니다. 개입하지 않는 것 역시 이 정책의 일부입니다.

선택적 리마인더로 두 가지 벤치마크 점수 향상 연구진은 현실적인 명령줄 환경에서 자율 에이전트를 평가하는 'Terminal-Bench 2.0'에서 이 시스템을 테스트했습니다. 또한 항공, 소매, 통신 부문의 대화형 도구 사용을 테스트하는 'tau2-Bench'도 활용했습니다. 해당 모델은 이후 여러 업데이트를 받았지만, 테스트 당시에는 Claude Opus 4.6이 메모리 에이전트를 담당했습니다.

이전 버전인 Claude Sonnet 4.5를 실행 에이전트로 사용했을 때, 이 시스템은 Terminal-Bench 작업의 46%를 첫 시도에 해결했습니다. 기존 기준선(baseline)의 해결률은 38%였습니다. tau2-Bench에서는 작업 가중 평균이 55%에서 62%로 상승했습니다. 결과는 분야별로 달랐습니다. 항공 및 소매 작업의 점수는 각각 약 10%포인트 상승한 반면, 통신은 3%포인트 향상에 그쳤습니다. 연구진은 이러한 불균형한 성과 향상이 메모리 에이전트가 작업 특성에 따라 서로 다른 비율로 개입한다는 것을 보여준다고 설명했습니다.

원문 보기
원문 보기 (영어)
Meta AI uses a second AI agent as a memory coach to keep long tasks on track Jonathan Kemper View the LinkedIn Profile of Jonathan Kemper Aug 2, 2026 GPT‑Image‑2 prompted by THE DECODER During long tasks, AI agents often forget constraints, repeat failed commands, and rediscover errors they've already diagnosed. Meta AI's proposed memory module tracks that information and decides when to remind them. In a new paper, Meta AI researchers describe how these failures play out. An agent recognizes a constraint early on but later violates it while fixing an unrelated bug. It sees that a command failed, then tries a nearly identical version soon afterward. It diagnoses an error pattern but later treats the same pattern as new. The authors call this "behavioral state decay." The state that guides the agent's decisions gets scattered across a growing task history. It can become buried deep in the context window or fall out of it altogether. Even when the information remains in the transcript or context window, it may no longer reliably shape the agent's behavior. Meta AI says simply giving agents access to longer histories doesn't solve the problem. Deciding when memory matters Existing memory systems focus on storing, updating, and retrieving information. According to the paper, that works well for personalization and recall across sessions. But agents working through a task face another problem. The system must decide when a memory is useful enough to bring back. Too few reminders lead to repeated mistakes, while too many add latency, consume tokens, and distract the agent from its current work. This goes beyond summarization: a summarizer just decides what information to retain where Meta's system decides whether a stored execution state should influence the agent's next move. Since failure modes vary widely by task, a fixed summarization rule can't make that call reliably. A second agent decides when to speak up The proposed system pairs an unmodified "action agent" with a separate "memory agent." At fixed intervals, the memory agent reviews a sliding window of the most recent steps and updates a structured memory bank. It then decides whether to add a brief reminder to the action agent's next call or stay silent. The authors say the module can work with existing agents and harnesses as a plug-and-play component. Unlike a general advisor model, it provides only memory-based reminders and doesn't offer broader strategic advice. The memory bank has three sections. A private status field tracks progress and outstanding risks and is never shown to the Action Agent. Knowledge Memory stores stable facts such as requirements, file paths, and configurations. Procedural Memory records what the agent tried and what happened, including failed commands, successful fixes, and rejected hypotheses. During each memory step, the agent can update the bank only through predefined tool calls rather than freely overwriting its contents. It then decides whether to reactivate a stored state and, if needed, writes a targeted reminder. Choosing not to intervene is part of the policy. Selective reminders improve scores on two benchmarks The researchers tested the system on Terminal-Bench 2.0, which evaluates autonomous agents in realistic command-line environments. They also used tau2-Bench, which tests conversational tool use in the airline, retail, and telecom sectors. Claude Opus 4.6 served as the memory agent, though the model has since received several updates. With the older Claude Sonnet 4.5 as the action agent, the system solved 46 percent of Terminal-Bench tasks on its first attempt. The baseline solved 38 percent. On tau2-Bench, the task-weighted average rose from 55 to 62 percent. Results varied by domain. Scores for airline and retail tasks each rose by about 10 percentage points, while telecom improved by only 3 points. The researchers say the uneven gains suggest that the memory agent intervenes at different rates depending on the task rather than applying a fixed aggregation rule. The gains were larger for the weaker agent but didn't disappear with a stronger one. Opus 4.6 improved by 2.4 percentage points on Terminal-Bench and 2.5 points on tau2-Bench. The result suggests that the memory system does more than compensate for a weaker model's limited capacity. Selective intervention works better than constant recall The team removed one capability at a time to determine which parts of the system drove the gains. When the action agent received the full memory bank at every step, performance fell below that of the full system. A version without the "silence" option, which returned a memory at every step, remained competitive but produced less consistent gains across domains. An advisor-style version without a persistent memory bank helped in some areas but hurt performance in others. The full design, which combines a maintained memory bank with selective reminders, performed best. The approach also outperformed Mem0, a production memory layer that retrieves records through search. The difference isn't just which records the system retrieves. The memory agent also decides whether and how a stored state should enter the loop as a targeted reminder. An example from the tau2-Bench "Airline" domain shows how that works. A user claimed Gold status, but the tool identified him as a regular customer. The baseline granted compensation based on the user's claim. The memory agent instead issued a reminder to rely on the verified tool data. Most remaining errors involved calibration rather than memory. In some cases, for example, the memory agent treated a speculative inference with too much confidence. Smaller open models need training to manage memory well The main version doesn't require a specially trained model and instead runs as a prompted agent. The team also tested whether it could teach the intervention policy to an open model. It trained the smaller Qwen3.5-27B as the memory agent while keeping a much larger action model frozen. Without training, the smaller memory agent reduced performance. Supervised fine-tuning recovered that loss, and later reinforcement learning improved its decisions about when to recall a stored state. Meta AI lists several open questions, including training the memory and action agents together, teaching the system to invoke memory when needed instead of following a fixed schedule, and determining when literal memories work better than task-specific abstractions. Meta AI has published the project's code on GitHub . Meta isn't alone in running into this problem, and the industry still has no standard approach. The open-source Mastra framework uses two background agents that monitor and compress a conversation instead of keeping its full history in the context window. The GAM system aims to prevent "context rot" in long chats and, like Meta's approach, compares its results with the Mem0 memory layer. Other researchers are designing lifelong AI memory systems that can actively add, revise, and forget knowledge. AI News Without the Hype – Curated by Humans Subscribe to THE DECODER for ad-free reading, a weekly AI newsletter, our exclusive "AI Radar" frontier report six times a year, full archive access, and access to our comment section. Subscribe now --> Read on for the full picture. Subscribe for hype-free coverage. Access to all THE DECODER articles. Read without distractions – no Google ads. Access to comments and community discussions. Weekly AI newsletter. 6 times a year: “AI Radar” – deep dives on key AI topics. Up to 25 % off on KI Pro online events. Access to our full ten-year archive. Get the latest AI news from The Decoder. Subscribe to The Decoder -->