#토큰비용

오픈AI 코덱스 개발자 "AI 에이전트 군집은 토큰 낭비"

오픈AI 코덱스 개발자 에릭 프로벤셔는 2개 이상의 병렬 서브 에이전트를 사용하면 품질 향상 없이 토큰만 소모하는 '조정 비용(coordination tax)'이 발생한다고 경고했다. 한 사례에서는 단일 파이썬 파일 리팩토링에 1,393개의 에이전트를 사용해 2만 달러의 토큰 비용이 발생했으며, 단일 에이전트로 훨씬 저렴하게 처리할 수 있었다는 것이다.

에이전트 컨텍스트 관리: 메모리와 비용을 아키텍처 문제로

실서비스 AI 에이전트의 실패는 추론 능력 부족보다 대화 이력·거대한 프롬프트·툴 출력 등 컨텍스트 관리 실패에서 비롯된다는 논문입니다. 저자는 이를 단순 저장·검색 문제가 아니라 생명주기(lifecycle) 문제로 보고, '에이전틱 컨텍스트 관리(ACM)'라는 분야를 아키텍처·수집·범위 지정·예측·압축의 5가지 원소로 정의합니다. 참조 구현체 Maximem Synap은 LongMemEval 92%, LoCoMo 93.2%를 달성했으며, 검증된 압축을 통해서만 선형 토큰 비용과 정확도를 동시에 유지할 수 있음을 경제적으로 논증합니다.