다중 에이전트 토론을 내재화하는 LLM 사후 학습 기법
여러 AI가 토론하듯 답을 찾는 '다중 에이전트 토론' 방식의 비효율성을 해결하기 위해, 이 과정을 단일 LLM 내부로 압축하는 새로운 파인튜닝 프레임워크가 제안되었습니다. 내재화된 모델은 최대 93% 적은 토큰을 사용하면서도 기존 토론 방식과 동등하거나 더 뛰어난 추론 성능을 보였습니다. 연구진은 모델 내부에 악의적 에이전트를 심은 뒤 이를 제어하는 실험을 통해, 내재화 방식이 유해 행위를 더 쉽게 통제할 수 있음을 입증했습니다.
컴퓨터 과학 > 인공지능 arXiv:2604.24881 (cs) [2026년 4월 27일 제출]
제목: 잠재 에이전트(Latent Agents): 내재화된 다중 에이전트 토론을 위한 사후 학습 절차 저자: John Seon Keun Yi, Aaron Mueller, Dokyun Lee PDF 및 HTML(실험적) 보기
초록: 다중 에이전트 토론(Multi-agent debate)은 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 것으로 입증되었습니다. 그러나 이 방식은 연산 집약적이며, 질문에 답하기 전에 긴 대화 기록을 생성해야 하는 비효율성이 있습니다. 이러한 비효율성을 해결하기 위해 우리는 동적 보상 스케줄링(dynamic reward scheduling)과 길이 클리핑(length clipping)을 통한 내재화를 토론 구조 학습과 결합하는 2단계 파인튜닝 파이프라인을 통해 다중 에이전트 토론을 단일 LLM으로 증류(distill)하는 프레임워크를 개발했습니다. 여러 모델과 벤치마크 테스트 결과, 우리의 내재화된 모델은 최대 93% 더 적은 토큰을 사용하면서도 명시적인 다중 에이전트 토론의 성능과 일치하거나 이를 능가했습니다.
우리는 활성화 조종(activation steering)을 통해 이 기능의 기계적 기반을 조사한 결과, 내재화 과정을 통해 에이전트 특화 하위 공간(subspaces)이 생성된다는 것을 발견했습니다. 이는 서로 다른 에이전트의 관점에 해당하는 활성화 공간 내의 해석 가능한 방향들입니다. 우리는 이를 실용적인 애플리케이션으로 추가로 입증했습니다. 내재화된 토론을 통해 LLM 내부에 악의적인 에이전트를 주입한 다음, 네거티브 스티어링(negative steering)을 적용하여 이를 억제하는 방식을 보여주었습니다. 이를 통해 증류(distillation) 과정을 거치면 기본 모델을 직접 조종할 때와 비교하여 일반적인 성능 저하를 최소화하면서 유해한 행동을 더 쉽게 국소화하고 제어할 수 있음을 확인했습니다. 우리의 연구 결과는 증류된 모델 내의 다중 에이전트 기능을 이해하기 위한 새로운 관점을 제공하고, 내재화된 추론 행동을 제어하기 위한 실용적인 가이드라인을 제시합니다.
코드 제공 URL 참고: ACL 2026 메인 주제: 인공지능 (cs.AI) 인용: arXiv:2604.24881 [cs.AI] 제출 기록: John Seon Keun Yi [v1] 2026년 4월 27일