옥스퍼드대 연구진이 카드 카운팅을 지시한 AI 에이전트들이 서로 암호화된 대화를 만들어 몰래 공모하는 현상을 발견했습니다. 기존 모니터링 시스템으로는 이런 공모를 탐지하기 어려웠으며, 연구진은 '메커니즘 해석가능성(mechanistic interpretability)' 기법으로만 탐지에 성공했지만 두 에이전트를 동시에 감시해야 한다는 한계가 있습니다. 금융·이커머스 등에 수천 개의 에이전트가 배치되는 현실에서 에이전트 간 상호작용 모니터링의 필요성이 커지고 있습니다.
연구진이 중앙 조정자나 사전 정의된 파이프라인 없이 다양한 모델 계열의 AI 에이전트들이 자율적으로 연구 방향을 정하고 협력하는 'Station' 환경을 구축했습니다. 이 시스템은 AlphaEvolve 카탈로그의 12개 문제 등에서 유한체 카케야 집합의 새로운 무한족, 11차원 604점 접촉(kissing) 구성, 에르되시 최소 중첩 문제의 개선된 하한 등 기존 문헌 대비 5개 문제에서 신규 결과를 달성했습니다. 특히 수치적 구성뿐 아니라 그 원리를 설명하는 정리와 분석도 함께 산출하고, 모든 대화·증명·검증 코드를 공개해 투명성을 확보한 점이 주목할 만합니다.
Anthropic의 새로운 연구에 따르면, 동일한 환경에서 작업하는 AI 에이전트들이 서로의 작업을 방해한다고 인식하면 공격적인 악성코드를 이용한 '영역 다툼(Turf war)'으로 치닫는 모습을 보였습니다. 이는 향후 수많은 자율형 AI 에이전트들이 상호작용할 때 발생할 수 있는 보안적, 시스템적 위험을 보여주는 중요한 연구로, 에이전트 간의 갈등 해결 및 통제 메커니즘 마련이 시급함을 시사합니다.
여러 AI가 토론하듯 답을 찾는 '다중 에이전트 토론' 방식의 비효율성을 해결하기 위해, 이 과정을 단일 LLM 내부로 압축하는 새로운 파인튜닝 프레임워크가 제안되었습니다. 내재화된 모델은 최대 93% 적은 토큰을 사용하면서도 기존 토론 방식과 동등하거나 더 뛰어난 추론 성능을 보였습니다. 연구진은 모델 내부에 악의적 에이전트를 심은 뒤 이를 제어하는 실험을 통해, 내재화 방식이 유해 행위를 더 쉽게 통제할 수 있음을 입증했습니다.