Hacker News • 49일 전

Grep이 전부인가? AI 에이전트 검색 혁신 분석

IMP

7/10

핵심 요약

최근 LLM 에이전트의 복잡한 워크플로우가 가능해짐에 따라, 에이전트 검색 시스템에서 검색 전략과 아키텍처 간의 상호작용을 체계적으로 비교한 연구가 발표되었습니다. 실험 결과, 벡터 검색 방식보다 전통적인 텍스트 검색 도구인 grep이 일반적으로 더 높은 정확도를 보였으며, 동일한 데이터를 사용하더라도 에이전트의 실행 환경(harness)과 도구 호출 방식에 따라 성능이 크게 달라지는 것으로 나타났습니다.

번역된 본문

컴퓨터 과학 > 계산 및 언어 (Computer Science > Computation and Language) arXiv:2605.15184 (cs) [2026년 5월 14일 제출]

제목: Grep이 전부인가? 에이전트 하네스가 에이전트 검색을 재편하는 방법 (Is Grep All You Need? How Agent Harnesses Reshape Agentic Search) 저자: Sahil Sen, Akhil Kasturi, Elias Lumer, Anmol Gulati, Vamse Kumar Subbiah

초록: 최근 대형 언어 모델(LLM) 에이전트의 발전으로 모델이 사용자를 대신해 대규모 말뭉치에서 자율적으로 정보를 검색하고, 도구를 호출하며, 추론하여 복잡한 에이전트 워크플로우를 수행할 수 있게 되었습니다. 에이전트 검색 시스템에서 검색 증강 생성(RAG)의 도입이 점차 늘어나고 있음에도 불구하고, 기존 연구 literature에서는 검색 전략의 선택이 에이전트 아키텍처 및 도구 호출 패러다임과 어떻게 상호작용하는지에 대한 체계적인 비교가 부족합니다. 모델에 도구 출력이 제시되는 방식이나 검색 시 더 많은 관련 없는 주변 텍스트를 처리해야 할 때 성능이 어떻게 변하는지 등 중요한 실용적 측면은 에이전트 루프 내에서 여전히 탐구 부족 상태입니다.

이 논문은 두 가지 실험으로 구성된 실증적 연구 결과를 보고합니다. 실험 1은 LongMemEval의 116개 질문 샘플을 사용하여 커스텀 에이전트 하네스(Chronos)와 공급업체 기본 CLI 하네스(Claude Code, Codex, Gemini CLI) 환경 모두에서 grep과 벡터 검색을 비교합니다. 이때 인라인 도구 결과와 모델이 별도로 읽는 파일 기반 도구 결과 모두에 대해 테스트했습니다. 실험 2는 점진적으로 관련 없는 대화 기록을 추가로 혼합하면서 오직 grep만 사용하는 방식과 오직 벡터만 사용하는 검색 방식을 비교합니다. 이를 통해 각 쿼리가 중요한 구절과 함께 더 많은 방해 요소가 되는 자료에 포함되는 상황을 만들었습니다.

Chronos와 여러 공급업체 CLI 환경을 통틀어, 실험 1의 비교 결과 grep은 일반적으로 벡터 검색보다 더 높은 정확도를 제공했습니다. 동시에 기본 대화 데이터가 동일하더라도 전체 점수는 어떤 하네스와 도구 호출 스타일을 사용하는지에 따라 여전히 강력한 영향을 받는 것으로 나타났습니다.

주제: 계산 및 언어 (Computation and Language, cs.CL) 인용: arXiv:2605.15184 [cs.CL] DOI: https://doi.org/10.48550/arXiv.2605.15184 제출 이력: Sahil Sen [이메일 보기], 2026년 5월 14일 목요일 (516 KB) 전문 링크: PDF 보기, HTML 보기 (실험적), TeX 소스, 라이선스 보기 현재 탐색 컨텍스트: cs.CL < 이전 | 다음 > 새 글 | 최근 | 2026-05 참고문헌 및 인용: NASA ADS, Google Scholar, Semantic Scholar, BibTeX 내보내기 도구: Connected Papers, Litmaps, scite.ai, alphaXiv, CatalyzeX Code Finder, DagsHub, GotitPub, Huggingface, ScienceCast, Replicate, Hugging Face Spaces, TXYZ.AI 등 다양한 연구 도구 및 데이터 플랫폼 연동 지원.

원문 보기

원문 보기 (영어)

--> Computer Science > Computation and Language arXiv:2605.15184 (cs) [Submitted on 14 May 2026] Title: Is Grep All You Need? How Agent Harnesses Reshape Agentic Search Authors: Sahil Sen , Akhil Kasturi , Elias Lumer , Anmol Gulati , Vamse Kumar Subbiah View a PDF of the paper titled Is Grep All You Need? How Agent Harnesses Reshape Agentic Search, by Sahil Sen and 4 other authors View PDF HTML (experimental) Abstract: Recent advances in Large Language Model (LLM) agents have enabled complex agentic workflows where models autonomously retrieve information, call tools, and reason over large corpora to complete tasks on behalf of users. Despite the growing adoption of retrieval-augmented generation (RAG) in agentic search systems, existing literature lacks a systematic comparison of how retrieval strategy choice interacts with agent architecture and tool-calling paradigm. Important practical dimensions, including how tool outputs are presented to the model and how performance changes when searches must cope with more irrelevant surrounding text, remain under-explored in agent loops. This paper reports an empirical study organized into two experiments. Experiment 1 compares grep and vector retrieval on a 116-question sample from LongMemEval, using a custom agent harness (Chronos) and provider-native CLI harnesses (Claude Code, Codex, and Gemini CLI), for both inline tool results and file-based tool results that the model reads separately. Experiment 2 compares grep-only and vector-only retrieval while progressively mixing in additional unrelated conversation history, so that each query is embedded in more distracting material alongside the passages that matter. Across Chronos and the provider CLIs, grep generally yields higher accuracy than vector retrieval in our comparisons in experiment 1; at the same time, overall scores still depend strongly on which harness and tool-calling style is used, even when the underlying conversation data are the same. Subjects: Computation and Language (cs.CL) Cite as: arXiv:2605.15184 [cs.CL] (or arXiv:2605.15184v1 [cs.CL] for this version) https://doi.org/10.48550/arXiv.2605.15184 Focus to learn more arXiv-issued DOI via DataCite Submission history From: Sahil Sen [ view email ] [v1] Thu, 14 May 2026 17:58:41 UTC (516 KB) Full-text links: Access Paper: View a PDF of the paper titled Is Grep All You Need? How Agent Harnesses Reshape Agentic Search, by Sahil Sen and 4 other authors View PDF HTML (experimental) TeX Source view license Current browse context: cs.CL < prev | next > new | recent | 2026-05 Change to browse by: cs References & Citations NASA ADS Google Scholar Semantic Scholar export BibTeX citation Loading... BibTeX formatted citation × loading... Data provided by: Bookmark Bibliographic Tools Bibliographic and Citation Tools Bibliographic Explorer Toggle Bibliographic Explorer ( What is the Explorer? ) Connected Papers Toggle Connected Papers ( What is Connected Papers? ) Litmaps Toggle Litmaps ( What is Litmaps? ) scite.ai Toggle scite Smart Citations ( What are Smart Citations? ) Code, Data, Media Code, Data and Media Associated with this Article alphaXiv Toggle alphaXiv ( What is alphaXiv? ) Links to Code Toggle CatalyzeX Code Finder for Papers ( What is CatalyzeX? ) DagsHub Toggle DagsHub ( What is DagsHub? ) GotitPub Toggle Gotit.pub ( What is GotitPub? ) Huggingface Toggle Hugging Face ( What is Huggingface? ) ScienceCast Toggle ScienceCast ( What is ScienceCast? ) Demos Demos Replicate Toggle Replicate ( What is Replicate? ) Spaces Toggle Hugging Face Spaces ( What is Spaces? ) Spaces Toggle TXYZ.AI ( What is TXYZ.AI? ) Related Papers Recommenders and Search Tools Link to Influence Flower Influence Flower ( What are Influence Flowers? ) Core recommender toggle CORE Recommender ( What is CORE? ) Author Venue Institution Topic About arXivLabs arXivLabs: experimental projects with community collaborators arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website. Both individuals and organizations that work with arXivLabs have embraced and accepted our values of openness, community, excellence, and user data privacy. arXiv is committed to these values and only works with partners that adhere to them. Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs . Which authors of this paper are endorsers? | Disable MathJax ( What is MathJax? )

LLM 에이전트 검색 증강 생성 에이전트 아키텍처 벡터 검색