Hacker News • 8일 전

코딩 에이전트 하네스 설계에 관한 실증적 연구

IMP

7/10

핵심 요약

자율 코딩 에이전트의 '하네스(실행 프레임워크)' 설계 요소를 구성 요소 단위로 분해해 실증 비교한 연구입니다. 실행 루프를 고정하고 계획(planning), 행동 공간(action space), 컨텍스트 관리를 달리한 176가지 설정을 SWE-Bench Verified와 Terminal-Bench 2.1에서 4개 모델로 평가했습니다. 컨텍스트 관리는 창(window) 예산이 빡빡할수록 중요해지며, 사전 정의된 도구는 bash 활용 능력이 약한 모델에만 효과적이라는 등 모델 능력과 예산에 맞춘 하네스 설계 지침을 제시합니다.

번역된 본문

--> 컴퓨터 과학 > 인공지능

arXiv:2609.20804 (cs) [2026년 9월 17일 제출]

제목: 코딩 에이전트를 위한 하네스 설계에 관한 실증적 연구

저자: Run-Ze Fan, Zihao Zhang, Simin Ma, Yebowen Hu, Shouju Wang, Kaiqiang Song, Fei Liu, Hamed Zamani, Xiaoyang Wang

초록: 코딩 하네스는 자율 코딩 에이전트가 모델의 능력을 장기적인 소프트웨어 엔지니어링 성과로 전환하는 방식을 결정합니다. 그러나 기존 연구들은 하네스를 하나의 통합된 시스템으로 평가하는 경우가 많아 개별 구성 요소의 효과가 불분명했습니다. 구성 요소 수준의 비교를 가능하게 하기 위해, 우리는 실행 루프를 고정하고 계획(planning), 행동 공간(action space), 컨텍스트 관리라는 세 가지 구성 요소만 변화시키는 경량 코딩 하네스로 이 문제를 연구했습니다.

SWE-Bench Verified와 Terminal-Bench 2.1에서 평가한 4개 모델을 대상으로, 5가지 컨텍스트 관리 전략, 4가지 컨텍스트 창(context window) 예산, 그리고 계획 및 행동 공간에 대한 표적화된 절제 실험(ablation)을 아우르는 176가지의 짝 맞춤 설정을 평가했습니다.

주요 발견은 다음과 같습니다: (1) 컨텍스트 관리는 컨텍스트 창 예산이 빡빡해질수록 그 가치가 커지며, 그 효과의 대부분은 컨텍스트 오버플로 실패를 방지하는 데서 나옵니다. (2) LLM 기반 요약 전에 규칙 기반 생략(elision)을 먼저 적용하는 방식이 컨텍스트 관리 전략 중 전반적으로 가장 강력한 효율성을 보였습니다. 반면 생략된 내용을 복구 가능하게 만드는 것은 모델이 거의 사용하지 않는 메커니즘을 추가할 뿐 정확도 향상은 없었습니다. (3) 계획(planning)은 약한 모델에게는 정확도를 떠받치는 역할에서, 강한 모델에게는 정확도 변화 없이 비용을 절감하는 역할로 그 의미가 달라집니다. (4) 사전 정의된 도구(predefined tools)는 bash 활용 능력이 약한 모델의 성능을 개선합니다. 반면 bash를 능숙하게 다루는 모델은 bash 전용 인터페이스만으로도 효과적으로 작업할 수 있으며, 특히 커맨드라인 중심 작업에서 상당히 낮은 비용을 달성합니다.

궤적(trajectory) 수준 분석은 이러한 효과를 설명합니다. 컨텍스트 관리는 에이전트의 행동을 크게 바꾸지 않으면서 실행 궤적을 연장시키고, 계획은 궤적이 멈추는 지점을 바꾸며, 행동 공간은 코드가 작성되는 세분성(granularity)을 바꿉니다. 이러한 발견은 모델 능력과 예산을 고려한 하네스 설계에 시사점을 주며, 향후 하네스 구성 요소를 평가할 수 있는 모듈형 프레임워크를 제공합니다.

코멘트: 43쪽 주제 분류: 인공지능 (cs.AI); 계산 언어학 (cs.CL); 머신러닝 (cs.LG); 소프트웨어 엔지니어링 (cs.SE)

인용: arXiv:2609.20804 [cs.AI] (또는 이 버전은 arXiv:2609.20804v1 [cs.AI]) https://doi.org/10.48550/arXiv.2609.20804

제출 이력: 작성자: Run-Ze Fan [v1] 2026년 9월 17일 (목) 17:58:07 UTC (6,713 KB)

전문 링크: 논문 PDF 보기 (Run-Ze Fan 및 공동저자 8인), HTML 보기 (실험적), TeX 소스, 라이선스 보기 현재 탐색 분야: cs.AI | 이전 | 다음 | 신규 | 최근 | 2026-09 | cs, cs.CL, cs.LG, cs.SE 탐색으로 변경

참고문헌 및 인용: NASA ADS, Google Scholar, Semantic Scholar, BibTeX 내보내기

북마크 및 인용 도구: Bibliographic Explorer, Connected Papers, Litmaps, scite.ai (스마트 인용)

코드·데이터·미디어: 이 논문과 관련된 코드/데이터 — alphaXiv, CatalyzeX(논문용 코드 검색기), DagsHub, GotitPub, Hugging Face, ScienceCast

원문 보기

원문 보기 (영어)

--> Computer Science > Artificial Intelligence arXiv:2609.20804 (cs) [Submitted on 17 Sep 2026] Title: An Empirical Study of Harness Design for Coding Agents Authors: Run-Ze Fan , Zihao Zhang , Simin Ma , Yebowen Hu , Shouju Wang , Kaiqiang Song , Fei Liu , Hamed Zamani , Xiaoyang Wang View a PDF of the paper titled An Empirical Study of Harness Design for Coding Agents, by Run-Ze Fan and 8 other authors View PDF HTML (experimental) Abstract: Coding harnesses shape how autonomous coding agents translate model capabilities into long-horizon software-engineering performance, yet existing work typically evaluates harnesses as monolithic systems, leaving the effectiveness of individual components unclear. To enable component-level comparisons, we study this question with a lightweight coding harness whose execution loop is fixed while three components are varied: planning, action space, and context management. Across four models evaluated on SWE-Bench Verified and Terminal-Bench 2.1, we evaluate 176 matched settings spanning five context-management strategies, four context-window budgets, and targeted ablations of planning and action space. We find that: (1) Context management becomes increasingly valuable as the context-window budget tightens, with most of its benefit coming from preventing context-overflow failures. (2) Staging rule-based elision before LLM-based summarization provides the strongest overall efficiency among the context-management strategies, whereas making elided content recoverable adds machinery that models rarely use and yields no accuracy gain. (3) Planning shifts from an accuracy scaffold for weaker models to a cost saver for stronger models, with little change in accuracy. (4) Predefined tools improve performance for models with weaker bash proficiency, whereas bash-capable models can operate effectively with a bash-only interface and achieve substantially lower cost, especially on command-line-centric tasks. Trajectory-level analysis explains these effects: context management extends execution trajectories without substantially altering agent behavior, planning changes where trajectories stop, and the action space changes the granularity at which code is written. These findings inform model- and budget-aware harness design and provide a modular framework for evaluating future harness components. Comments: 43 pages Subjects: Artificial Intelligence (cs.AI) ; Computation and Language (cs.CL); Machine Learning (cs.LG); Software Engineering (cs.SE) Cite as: arXiv:2609.20804 [cs.AI] (or arXiv:2609.20804v1 [cs.AI] for this version) https://doi.org/10.48550/arXiv.2609.20804 Focus to learn more arXiv-issued DOI via DataCite (pending registration) Submission history From: Run-Ze Fan [ view email ] [v1] Thu, 17 Sep 2026 17:58:07 UTC (6,713 KB) Full-text links: Access Paper: View a PDF of the paper titled An Empirical Study of Harness Design for Coding Agents, by Run-Ze Fan and 8 other authors View PDF HTML (experimental) TeX Source view license Current browse context: cs.AI < prev | next > new | recent | 2026-09 Change to browse by: cs cs.CL cs.LG cs.SE References & Citations NASA ADS Google Scholar Semantic Scholar export BibTeX citation Loading... BibTeX formatted citation × loading... Data provided by: Bookmark Bibliographic Tools Bibliographic and Citation Tools Bibliographic Explorer Toggle Bibliographic Explorer ( What is the Explorer? ) Connected Papers Toggle Connected Papers ( What is Connected Papers? ) Litmaps Toggle Litmaps ( What is Litmaps? ) scite.ai Toggle scite Smart Citations ( What are Smart Citations? ) Code, Data, Media Code, Data and Media Associated with this Article alphaXiv Toggle alphaXiv ( What is alphaXiv? ) Links to Code Toggle CatalyzeX Code Finder for Papers ( What is CatalyzeX? ) DagsHub Toggle DagsHub ( What is DagsHub? ) GotitPub Toggle Gotit.pub ( What is GotitPub? ) Huggingface Toggle Hugging Face ( What is Huggingface? ) ScienceCast Toggle ScienceCast ( What is ScienceCast? ) Demos Demos Replicate Toggle Replicate ( What is Replicate? ) Spaces Toggle Hugging Face Spaces ( What is Spaces? ) Spaces Toggle TXYZ.AI ( What is TXYZ.AI? ) Related Papers Recommenders and Search Tools Link to Influence Flower Influence Flower ( What are Influence Flowers? ) Core recommender toggle CORE Recommender ( What is CORE? ) Author Venue Institution Topic About arXivLabs arXivLabs: experimental projects with community collaborators arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website. Both individuals and organizations that work with arXivLabs have embraced and accepted our values of openness, community, excellence, and user data privacy. arXiv is committed to these values and only works with partners that adhere to them. Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs . Which authors of this paper are endorsers? | Disable MathJax ( What is MathJax? )

코딩 에이전트 컨텍스트 관리 SWE-Bench LLM 에이전트 arXiv