AI 코딩 에이전트, 토큰 가장 많이 쓰는 구간은 '코드 리뷰'
LLM(대형 언어 모델) 기반 다중 에이전트 시스템이 소프트웨어 개발 과정에서 토큰을 어떻게 소비하는지 분석한 연구 논문입니다. 연구 결과, 초기 코드 생성보다 반복적인 코드 리뷰 및 검증 단계에서 전체 토큰의 약 60%가 소모되는 것으로 나타났습니다. 이는 AI 코딩 에이전트 도입 시 예상치 못한 비용 증가의 원인을 보여주며, 토큰 효율성을 높이는 최적화가 시급함을 시사합니다.
컴퓨터 과학 > 소프트웨어 엔지니어링 arXiv:2601.14470 (cs) [2026년 1월 20일 제출]
제목: 토크노믹스(Tokenomics): 에이전트 기반 소프트웨어 엔지니어링에서 토큰 사용량 정량화하기 저자: Mohamad Salim, Jasmine Latendresse, SayedHassan Khatoonabadi, Emad Shihab
초록: LLM(대형 언어 모델) 기반 다중 에이전트(LLM-MA) 시스템은 요구사항 엔지니어링, 코드 생성, 테스트와 같은 복잡한 소프트웨어 엔지니어링 작업을 자동화하는 데 점점 더 많이 활용되고 있습니다. 그러나 이러한 시스템의 운영 효율성과 자원 소비 패턴은 아직 제대로 이해되지 않았으며, 예측할 수 없는 비용과 환경적 영향 때문에 실제 산업 현장에서의 도입을 가로막고 있습니다.
이 문제를 해결하기 위해 본 연구는 소프트웨어 개발 수명 주기(SDLC) 내에서 LLM-MA 시스템의 토큰 소비 패턴을 분석하여, 개별 소프트웨어 엔지니어링 활동에서 토큰이 어디에 소비되는지 이해하고자 합니다. 우리는 ChatDev 프레임워크가 GPT-5 추론 모델을 사용하여 수행한 30개의 소프트웨어 개발 작업의 실행 추적을 분석했습니다. 이를 통해 내부 단계를 명확한 개발 단계(설계, 코딩, 코드 완성, 코드 리뷰, 테스트, 문서화)에 매핑하여 표준화된 평가 프레임워크를 구축했습니다. 그런 다음 이러한 단계에 걸친 토큰 분포(입력, 출력, 추론)를 정량화하고 비교했습니다.
예비 연구 결과에 따르면, 반복적인 '코드 리뷰(Code Review)' 단계가 평균 59.4%의 토큰을 소비하여 전체 토큰 사용량의 대부분을 차지하는 것으로 나타났습니다. 또한, '입력 토큰(Input tokens)'이 평균 53.9%로 지속적으로 가장 큰 비중을 차지하여, 에이전트 간 협업 과정에 잠재적으로 심각한 비효율성이 존재한다는 경험적 증거를 제공했습니다.
이러한 결과는 에이전트 기반 소프트웨어 엔지니어링의 주요 비용이 초기 코드 생성이 아니라 자동화된 개선 및 검증 과정에 있음을 시사합니다. 우리의 새로운 방법론은 실무자들이 비용을 예측하고 워크플로를 최적화하는 데 도움을 줄 수 있으며, 향후 연구가 더 많은 토큰 효율성을 가진 에이전트 협업 프로토콜을 개발하는 방향으로 나아가도록 안내할 것입니다.
주제: 소프트웨어 엔지니어링(cs.SE); 인공지능(cs.AI); 다중 에이전트 시스템(cs.MA)