#논문

에이전트 컨텍스트 관리: 메모리와 비용을 아키텍처 문제로

실서비스 AI 에이전트의 실패는 추론 능력 부족보다 대화 이력·거대한 프롬프트·툴 출력 등 컨텍스트 관리 실패에서 비롯된다는 논문입니다. 저자는 이를 단순 저장·검색 문제가 아니라 생명주기(lifecycle) 문제로 보고, '에이전틱 컨텍스트 관리(ACM)'라는 분야를 아키텍처·수집·범위 지정·예측·압축의 5가지 원소로 정의합니다. 참조 구현체 Maximem Synap은 LongMemEval 92%, LoCoMo 93.2%를 달성했으며, 검증된 압축을 통해서만 선형 토큰 비용과 정확도를 동시에 유지할 수 있음을 경제적으로 논증합니다.

단일 GPU로 1000억 파라미터 LLM 훈련

단일 GPU 환경에서 1000억 개 이상의 파라미터를 가진 대규모 언어 모델(LLM)을 최고 정밀도로 훈련할 수 있는 'MegaTrain' 시스템이 소개되었습니다. 이 시스템은 GPU 대신 CPU 메모리를 적극 활용하고 파이프라인 및 상태 없는 레이어 템플릿 기법을 통해 하드웨어 한계를 극복하여, 140억 파라미터 모델 훈련 시 기존 DeepSpeed ZeRO-3 대비 1.84배 높은 처리량을 달성했습니다.