Hacker News • 52일 전

LLM 에이전트를 위한 제로 토큰 메모리 연산 'Zero-Mem'

IMP

8/10

핵심 요약

LLM 에이전트의 메모리 관리에서 발생하는 토큰 소모와 지연 시간을 혁신적으로 줄인 'Zero-Mem' 기술이 발표되었습니다. 이 기술은 메모리 저장 및 검색 과정에서 LLM을 호출하지 않고 엔티티-컨텍스트 그래프와 시간적 계층 구조를 활용하여 최종 답변에 필요한 정보만을 정확하게 찾아냅니다. 실무적으로 기존 가장 빠른 방식과 비교해 메모리 연산 시간을 57.6% 단축시키며, 비용과 속도가 모두 중요한 LLM 에이전트 환경에서 매우 중요한 연구 성과입니다.

번역된 본문

컴퓨터 과학 > 연산 및 언어 arXiv:2607.29377 (cs) [2026년 7월 31일 제출]

제목: Zero-Mem: LLM 에이전트를 위한 제로 토큰 메모리 연산 (Zero-Mem: Zero-Token Memory Operations for LLM Agents) 저자: Yilin Xiao, Zhehan Zhu, Yujing Zhang, Jin Chen, Zijin Hong, Luyao Zhuang, Qinggang Zhang, Shengyuan Chen, Xiaocao Ouyang, Lingfei Ren, Xiao Huang

초록: LLM 에이전트가 긴 상호작용 동안 일관되게 행동하려면 메모리가 필요하지만, 많은 시스템이 이러한 메모리를 작동시키기 위해 추가적인 LLM 호출을 사용합니다. 중간 기록을 생성하고 이의 검색을 중재하는 과정은 반복적인 토큰 및 시간 비용을 추가하며, 생략되거나 병합된 세부 정보는 원래의 증거를 모호하게 만들 수 있습니다. 우리는 구조화된 메모리 접근에 반드시 텍스트 생성이 필요한지 질문을 던집니다.

Zero-Mem은 '제로 토큰 메모리 연산(zero-token memory operations)'을 도입합니다. 즉, 최종 질문 답변(QA) 단계 외에는 어떠한 단계도 LLM을 호출하거나 LLM의 입출력 토큰을 소비하지 않습니다(단, 인코더 계산은 별도로 처리됨). Zero-Mem은 기록의 원천으로서 원래의 상호작용 기록을 그대로 보존합니다. 그리고 이 기록을 두 가지 보완적인 방식으로 구성합니다. '엔티티-컨텍스트 그래프(Entity-Context Graph)'는 상호작용 간의 연결을 드러내고, '시간적 계층(Temporal Hierarchy)'은 대화의 국소성과 세션 상태를 유지합니다.

각 쿼리에 대해 Zero-Mem은 두 가지 관점의 가중치를 계산하고, 양쪽 모두에서 정보를 검색한 후 그 구조를 따라 지원 관계나 주변 컨텍스트를 복원합니다. 결정론적 보정(Deterministic calibration)은 먼저 충돌하는 증거를 폐기한 다음, 판독기(reader)의 답변이 검색된 기록에 기반하도록 유지합니다. 최종 QA 판독기만이 LLM을 호출합니다.

장기 메모리 및 장기 컨텍스트 질의응답 벤치마크에서 Zero-Mem은 메모리 연산에서 LLM 호출과 LLM 토큰 소비를 완전히 제거하면서도 경쟁력 있는 성능을 달성했습니다. 동일한 최종 QA 판독기와 컨텍스트 예산을 사용할 때, 비교 대상 중 가장 빠른 기준선(Baseline) 대비 메모리 연산 시간 비용을 57.6% 절감했습니다. 제거 실험(Ablation)은 두 가지 관점의 기여도와 쿼리 의존적 조정을 뒷받침합니다. 전반적으로, 결과는 구조화된 에이전트 메모리가 과거의 중간 표현을 생성할 필요가 없음을 보여줍니다. 동료 평가 후 코드 및 구현 세부 정보는 해당 URL(this https URL)에서 확인할 수 있습니다.

주제: 연산 및 언어 (cs.CL) 인용: arXiv:2607.29377 [cs.CL] (또는 이 버전의 경우 arXiv:2607.29377v1 [cs.CL]) URL: https://doi.org/10.48550/arXiv.2607.29377 DataCite를 통해 arXiv에서 발급한 DOI (등록 대기 중)

원문 보기

원문 보기 (영어)

--> Computer Science > Computation and Language arXiv:2607.29377 (cs) [Submitted on 31 Jul 2026] Title: Zero-Mem: Zero-Token Memory Operations for LLM Agents Authors: Yilin Xiao , Zhehan Zhu , Yujing Zhang , Jin Chen , Zijin Hong , Luyao Zhuang , Qinggang Zhang , Shengyuan Chen , Xiaocao Ouyang , Lingfei Ren , Xiao Huang View a PDF of the paper titled Zero-Mem: Zero-Token Memory Operations for LLM Agents, by Yilin Xiao and 10 other authors View PDF HTML (experimental) Abstract: LLM agents need memory to act consistently over long interactions, yet many systems use additional LLM calls to operate that memory. Generating intermediate records and mediating their retrieval adds recurring token and time costs, while omitted or merged details can obscure the original evidence. We ask whether structured memory access requires generation at all. Zero-Mem introduces \emph{zero-token memory operations}: no step outside final question answering invokes an LLM or consumes LLM input or output tokens; encoder computation is accounted for separately. Zero-Mem preserves original interaction traces as its source of record. It organizes the traces in two complementary ways. An entity--context graph exposes connections across interactions, while a temporal hierarchy preserves conversational locality and session state. For each query, Zero-Mem weighs the two views, retrieves from both, and follows their structure to recover supporting relations or surrounding context. Deterministic calibration first discards conflicting evidence and then keeps the reader's answer grounded in the retrieved traces. Only the final-QA reader invokes an LLM. Across long-memory and long-context question-answering benchmarks, Zero-Mem achieves competitive performance while eliminating LLM calls and LLM-token consumption from memory operations. With the same final-QA reader and context budget, it reduces memory-operation time cost by 57.6\% relative to the fastest compared baseline. Ablations support the contribution of the two views and their query-dependent coordination. Overall, the results show that structured agent memory need not generate an intermediate representation of the past. After peer review, the code and implementation details will be available at \textcolor{blue}{ this https URL }. Subjects: Computation and Language (cs.CL) Cite as: arXiv:2607.29377 [cs.CL] (or arXiv:2607.29377v1 [cs.CL] for this version) https://doi.org/10.48550/arXiv.2607.29377 Focus to learn more arXiv-issued DOI via DataCite (pending registration) Submission history From: Yilin Xiao [ view email ] [v1] Fri, 31 Jul 2026 13:01:06 UTC (414 KB) Full-text links: Access Paper: View a PDF of the paper titled Zero-Mem: Zero-Token Memory Operations for LLM Agents, by Yilin Xiao and 10 other authors View PDF HTML (experimental) TeX Source view license Current browse context: cs.CL < prev | next > new | recent | 2026-07 Change to browse by: cs References & Citations NASA ADS Google Scholar Semantic Scholar export BibTeX citation Loading... BibTeX formatted citation × loading... Data provided by: Bookmark Bibliographic Tools Bibliographic and Citation Tools Bibliographic Explorer Toggle Bibliographic Explorer ( What is the Explorer? ) Connected Papers Toggle Connected Papers ( What is Connected Papers? ) Litmaps Toggle Litmaps ( What is Litmaps? ) scite.ai Toggle scite Smart Citations ( What are Smart Citations? ) Code, Data, Media Code, Data and Media Associated with this Article alphaXiv Toggle alphaXiv ( What is alphaXiv? ) Links to Code Toggle CatalyzeX Code Finder for Papers ( What is CatalyzeX? ) DagsHub Toggle DagsHub ( What is DagsHub? ) GotitPub Toggle Gotit.pub ( What is GotitPub? ) Huggingface Toggle Hugging Face ( What is Huggingface? ) ScienceCast Toggle ScienceCast ( What is ScienceCast? ) Demos Demos Replicate Toggle Replicate ( What is Replicate? ) Spaces Toggle Hugging Face Spaces ( What is Spaces? ) Spaces Toggle TXYZ.AI ( What is TXYZ.AI? ) Related Papers Recommenders and Search Tools Link to Influence Flower Influence Flower ( What are Influence Flowers? ) Core recommender toggle CORE Recommender ( What is CORE? ) Author Venue Institution Topic About arXivLabs arXivLabs: experimental projects with community collaborators arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website. Both individuals and organizations that work with arXivLabs have embraced and accepted our values of openness, community, excellence, and user data privacy. arXiv is committed to these values and only works with partners that adhere to them. Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs . Which authors of this paper are endorsers? | Disable MathJax ( What is MathJax? )

LLM 에이전트 메모리 최적화 비용 절감 자연어처리 arXiv