메뉴
HN
Hacker News 54일 전

다중 에이전트 토론을 내재화하는 LLM 사후 학습 기법

IMP
8/10
핵심 요약

여러 AI가 토론하듯 답을 찾는 '다중 에이전트 토론' 방식의 비효율성을 해결하기 위해, 이 과정을 단일 LLM 내부로 압축하는 새로운 파인튜닝 프레임워크가 제안되었습니다. 내재화된 모델은 최대 93% 적은 토큰을 사용하면서도 기존 토론 방식과 동등하거나 더 뛰어난 추론 성능을 보였습니다. 연구진은 모델 내부에 악의적 에이전트를 심은 뒤 이를 제어하는 실험을 통해, 내재화 방식이 유해 행위를 더 쉽게 통제할 수 있음을 입증했습니다.

번역된 본문

컴퓨터 과학 > 인공지능 arXiv:2604.24881 (cs) [2026년 4월 27일 제출]

제목: 잠재 에이전트(Latent Agents): 내재화된 다중 에이전트 토론을 위한 사후 학습 절차 저자: John Seon Keun Yi, Aaron Mueller, Dokyun Lee PDF 및 HTML(실험적) 보기

초록: 다중 에이전트 토론(Multi-agent debate)은 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 것으로 입증되었습니다. 그러나 이 방식은 연산 집약적이며, 질문에 답하기 전에 긴 대화 기록을 생성해야 하는 비효율성이 있습니다. 이러한 비효율성을 해결하기 위해 우리는 동적 보상 스케줄링(dynamic reward scheduling)과 길이 클리핑(length clipping)을 통한 내재화를 토론 구조 학습과 결합하는 2단계 파인튜닝 파이프라인을 통해 다중 에이전트 토론을 단일 LLM으로 증류(distill)하는 프레임워크를 개발했습니다. 여러 모델과 벤치마크 테스트 결과, 우리의 내재화된 모델은 최대 93% 더 적은 토큰을 사용하면서도 명시적인 다중 에이전트 토론의 성능과 일치하거나 이를 능가했습니다.

우리는 활성화 조종(activation steering)을 통해 이 기능의 기계적 기반을 조사한 결과, 내재화 과정을 통해 에이전트 특화 하위 공간(subspaces)이 생성된다는 것을 발견했습니다. 이는 서로 다른 에이전트의 관점에 해당하는 활성화 공간 내의 해석 가능한 방향들입니다. 우리는 이를 실용적인 애플리케이션으로 추가로 입증했습니다. 내재화된 토론을 통해 LLM 내부에 악의적인 에이전트를 주입한 다음, 네거티브 스티어링(negative steering)을 적용하여 이를 억제하는 방식을 보여주었습니다. 이를 통해 증류(distillation) 과정을 거치면 기본 모델을 직접 조종할 때와 비교하여 일반적인 성능 저하를 최소화하면서 유해한 행동을 더 쉽게 국소화하고 제어할 수 있음을 확인했습니다. 우리의 연구 결과는 증류된 모델 내의 다중 에이전트 기능을 이해하기 위한 새로운 관점을 제공하고, 내재화된 추론 행동을 제어하기 위한 실용적인 가이드라인을 제시합니다.

코드 제공 URL 참고: ACL 2026 메인 주제: 인공지능 (cs.AI) 인용: arXiv:2604.24881 [cs.AI] 제출 기록: John Seon Keun Yi [v1] 2026년 4월 27일

원문 보기
원문 보기 (영어)
--> Computer Science > Artificial Intelligence arXiv:2604.24881 (cs) [Submitted on 27 Apr 2026] Title: Latent Agents: A Post-Training Procedure for Internalized Multi-Agent Debate Authors: John Seon Keun Yi , Aaron Mueller , Dokyun Lee View a PDF of the paper titled Latent Agents: A Post-Training Procedure for Internalized Multi-Agent Debate, by John Seon Keun Yi and 2 other authors View PDF HTML (experimental) Abstract: Multi-agent debate has been shown to improve reasoning in large language models (LLMs). However, it is compute-intensive, requiring generation of long transcripts before answering questions. To address this inefficiency, we develop a framework that distills multi-agent debate into a single LLM through a two-stage fine-tuning pipeline combining debate structure learning with internalization via dynamic reward scheduling and length clipping. Across multiple models and benchmarks, our internalized models match or exceed explicit multi-agent debate performance using up to 93% fewer tokens. We then investigate the mechanistic basis of this capability through activation steering, finding that internalization creates agent-specific subspaces: interpretable directions in activation space corresponding to different agent perspectives. We further demonstrate a practical application: by instilling malicious agents into the LLM through internalized debate, then applying negative steering to suppress them, we show that distillation makes harmful behaviors easier to localize and control with smaller reductions in general performance compared to steering base models. Our findings offer a new perspective for understanding multi-agent capabilities in distilled models and provide practical guidelines for controlling internalized reasoning behaviors. Code available at this https URL Comments: ACL 2026 Main Subjects: Artificial Intelligence (cs.AI) Cite as: arXiv:2604.24881 [cs.AI] (or arXiv:2604.24881v1 [cs.AI] for this version) https://doi.org/10.48550/arXiv.2604.24881 Focus to learn more arXiv-issued DOI via DataCite (pending registration) Submission history From: John Seon Keun Yi [ view email ] [v1] Mon, 27 Apr 2026 18:06:03 UTC (8,283 KB) Full-text links: Access Paper: View a PDF of the paper titled Latent Agents: A Post-Training Procedure for Internalized Multi-Agent Debate, by John Seon Keun Yi and 2 other authors View PDF HTML (experimental) TeX Source view license Current browse context: cs.AI < prev | next > new | recent | 2026-04 Change to browse by: cs References & Citations NASA ADS Google Scholar Semantic Scholar export BibTeX citation Loading... BibTeX formatted citation &times; loading... Data provided by: Bookmark Bibliographic Tools Bibliographic and Citation Tools Bibliographic Explorer Toggle Bibliographic Explorer ( What is the Explorer? ) Connected Papers Toggle Connected Papers ( What is Connected Papers? ) Litmaps Toggle Litmaps ( What is Litmaps? ) scite.ai Toggle scite Smart Citations ( What are Smart Citations? ) Code, Data, Media Code, Data and Media Associated with this Article alphaXiv Toggle alphaXiv ( What is alphaXiv? ) Links to Code Toggle CatalyzeX Code Finder for Papers ( What is CatalyzeX? ) DagsHub Toggle DagsHub ( What is DagsHub? ) GotitPub Toggle Gotit.pub ( What is GotitPub? ) Huggingface Toggle Hugging Face ( What is Huggingface? ) ScienceCast Toggle ScienceCast ( What is ScienceCast? ) Demos Demos Replicate Toggle Replicate ( What is Replicate? ) Spaces Toggle Hugging Face Spaces ( What is Spaces? ) Spaces Toggle TXYZ.AI ( What is TXYZ.AI? ) Related Papers Recommenders and Search Tools Link to Influence Flower Influence Flower ( What are Influence Flowers? ) Core recommender toggle CORE Recommender ( What is CORE? ) Author Venue Institution Topic About arXivLabs arXivLabs: experimental projects with community collaborators arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website. Both individuals and organizations that work with arXivLabs have embraced and accepted our values of openness, community, excellence, and user data privacy. arXiv is committed to these values and only works with partners that adhere to them. Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs . Which authors of this paper are endorsers? | Disable MathJax ( What is MathJax? )