메뉴
HN
Hacker News 15일 전

마이크로소프트의 명령줄 AI 코딩 에이전트 도입 효과 분석

IMP
8/10
핵심 요약

마이크로소프트 내부 개발자들을 대상으로 Anthropic의 Claude Code와 GitHub의 Copilot CLI 같은 명령줄 기반 AI 코딩 에이전트의 도입 효과를 분석한 논문입니다. 연구 결과에 따르면 이 도구들의 초기 도입은 동료 간의 소셜 네트워크를 통해 주로 확산되었으며, 사용자들은 기존 대비 약 24% 더 많은 코드 병합(Pull Request)을 완료하여 실질적인 개발 생산성 향상을 보여주었습니다.

번역된 본문

컴퓨터 과학 > 소프트웨어 공학 arXiv:2607.01418 (cs) [2026년 7월 1일 제출]

제목: 명령줄 AI 코딩 에이전트의 도입과 영향: 마이크로소프트의 2026년 초 Claude Code 및 GitHub Copilot CLI 도입 사례 연구 저자: Emerson Murphy-Hill, Jenna Butler, Alexandra Savelieva

초록: Anthropic의 Claude Code와 GitHub의 Copilot CLI와 같은 에이전트 기반 명령줄 도구를 도입하려는 조직에서는 누가 이 도구들을 시도할 것이고, 누가 계속 사용할 것이며, 이 도구들이 그에 상응하는 비용을 정당화할 만큼의 충분한 산출물을 내는지 파악해야 합니다. 조직 규모에서 토큰(Token) 지출은 연간 수백만 달러에 달할 수 있으므로, 도입률과 유지율, 그리고 영향력을 잘못 판단하면 개발 속도를 개선하지 못한 채 막대한 비용만 초래하는 도입이 될 수 있습니다. 2026년 초 마이크로소프트의 전사적 도입 과정에서 수만 명의 엔지니어를 대상으로 연구한 결과, 우리는 첫 사용이 주로 사내 소셜 네트워크를 통해 퍼졌다는 것을 발견했습니다. 또한 유지율은 개발자의 인구통계학적 특성보다는 실제 코딩 활동량과 더 깊은 연관이 있었으며, 도입자들은 기존보다 약 24% 더 많은 코드 병합(Pull Request)을 완료했습니다. 우리는 코드 병합을 산출물의 대리 지표로 사용했습니다. (물론 병합된 PR이 반드시 그것이 제공하는 가치와 동일하지는 않다는 점을 인정합니다.) 그리고 이러한 증가 효과는 우리의 4개월 연구 기간 동안 지속적으로 나타났습니다. 이러한 결과는 CLI 코딩 에이전트가 단순히 일시적인 유행이나 신기함 효과가 아니라 불균일하게 채택된다는 것을 시사합니다. 따라서 조직은 동료의 눈에 띄는 사용 사례를 전략적 도입의 핵심 요소로 다루어야 합니다.

주제: 소프트웨어 공학(cs.SE); 인공지능(cs.AI); 인간-컴퓨터 상호작용(cs.HC) 인용 방법: arXiv:2607.01418 [cs.SE] (또는 해당 버전은 arXiv:2607.01418v1 [cs.SE]) https://doi.org/10.48550/arXiv.2607.01418 더 알아보기 DataCite를 통해 발급된 arXiv DOI

제출 이력: 보낸 사람: Emerson Murphy-Hill [이메일 보기] [v1] 2026년 7월 1일 수요일 19:24:27 UTC (454 KB)

전체 텍스트 링크: 논문 접근: '명령줄 AI 코딩 에이전트의 도입과 영향: 마이크로소프트의 2026년 초 Claude Code 및 GitHub Copilot CLI 도입 사례 연구'라는 제목의 논문 PDF 보기. 저자: Emerson Murphy-Hill 외 2명 HTML 보기 (실험적) TeX 소스 라이선스 보기

현재 탐색 컨텍스트: cs.SE < 이전 | 다음 > 새 글 | 최근 글 | 2026-07 탐색 기준 변경: cs cs.AI cs.HC

참고문헌 및 인용: NASA ADS 구글 스칼라 시맨틱 스칼라 내보내기 BibTeX 인용 로딩 중... BibTeX 형식의 인용 로드됨 × 로딩 중... 제공된 데이터: 북마크

서지 도구: 서지 및 인용 도구 서지 탐색기 서지 탐색기 토글 (탐색기란?) 커넥티드 페이퍼스 커넥티드 페이퍼스 토글 (커넥티드 페이퍼스란?) Litmaps Litmaps 토글 (Litmaps란?) scite.ai scite 스마트 인용 토글 (스마트 인용이란?)

코드, 데이터, 미디어: 이 논문과 관련된 코드, 데이터 및 미디어 alphaXiv alphaXiv 토글 (alphaXiv란?) 코드 링크 논문을 위한 CatalyzeX 코드 파인더 토글 (CatalyzeX란?) DagsHub DagsHub 토글 (DagsHub란?) GotitPub Gotit.pub 토글 (GotitPub이란?) 허깅페이스(Huggingface) 허깅페이스 토글 (허깅페이스란?) ScienceCast ScienceCast 토글 (ScienceCast란?)

데모: 데모 Replicate Replicate 토글 (Replicate란?) 스페이스(Spaces) 허깅페이스 스페이스 토글 (스페이스란?) 스페이스 TXYZ.AI 토글 (TXYZ.AI란?)

관련 논문: 추천 및 검색 도구 인플루언스 플라워 링크 인플루언스 플라워 (인플루언스 플라워란?) 코어 추천기 토글 CORE 추천기 (CORE란?) 저자 발행지 기관 주제

arXivLabs 정보: arXivLabs: 커뮤니티 협력자들과의 실험적 프로젝트 arXivLabs는 협력자들이 당사 웹사이트에서 직접 새로운 arXiv 기능을 개발하고 공유할 수 있게 해주는 프레임워크입니다. arXivLabs를 사용하는 개인과 조직은 우리의 '개방성'이라는 가치를 포용하고 받아들였습니다.

원문 보기
원문 보기 (영어)
--> Computer Science > Software Engineering arXiv:2607.01418 (cs) [Submitted on 1 Jul 2026] Title: Adoption and Impact of Command-Line AI Coding Agents: A Study of Microsoft's Early 2026 Rollout of Claude Code and GitHub Copilot CLI Authors: Emerson Murphy-Hill , Jenna Butler , Alexandra Savelieva View a PDF of the paper titled Adoption and Impact of Command-Line AI Coding Agents: A Study of Microsoft's Early 2026 Rollout of Claude Code and GitHub Copilot CLI, by Emerson Murphy-Hill and 2 other authors View PDF HTML (experimental) Abstract: Organizations rolling out agentic command line tools like Anthropic's Claude Code and GitHub's Copilot CLI need to know who will try them, who will keep using them, and whether the tools produce enough output to justify their cost. At organizational scale, token spend can run into millions of dollars annually, so misreading adoption, retention, or impact can make a rollout expensive without changing engineering velocity. Studying tens of thousands of engineers at Microsoft over its early-2026 rollout, we find that first use spread primarily through social networks, retention was associated more with engineers' coding activity than with demographics, and adopters merged roughly 24% more pull requests than they would have otherwise. We use merged pull requests as our proxy for output -- acknowledging that a merged PR is not the same as the value it delivers -- and the lift persists across our four-month window. These results suggest that CLI coding agents are neither uniformly adopted nor mere novelty effects and that organizations should treat visible peer use as central to rollout strategy. Subjects: Software Engineering (cs.SE) ; Artificial Intelligence (cs.AI); Human-Computer Interaction (cs.HC) Cite as: arXiv:2607.01418 [cs.SE] (or arXiv:2607.01418v1 [cs.SE] for this version) https://doi.org/10.48550/arXiv.2607.01418 Focus to learn more arXiv-issued DOI via DataCite Submission history From: Emerson Murphy-Hill [ view email ] [v1] Wed, 1 Jul 2026 19:24:27 UTC (454 KB) Full-text links: Access Paper: View a PDF of the paper titled Adoption and Impact of Command-Line AI Coding Agents: A Study of Microsoft's Early 2026 Rollout of Claude Code and GitHub Copilot CLI, by Emerson Murphy-Hill and 2 other authors View PDF HTML (experimental) TeX Source view license Current browse context: cs.SE < prev | next > new | recent | 2026-07 Change to browse by: cs cs.AI cs.HC References & Citations NASA ADS Google Scholar Semantic Scholar export BibTeX citation Loading... BibTeX formatted citation &times; loading... Data provided by: Bookmark Bibliographic Tools Bibliographic and Citation Tools Bibliographic Explorer Toggle Bibliographic Explorer ( What is the Explorer? ) Connected Papers Toggle Connected Papers ( What is Connected Papers? ) Litmaps Toggle Litmaps ( What is Litmaps? ) scite.ai Toggle scite Smart Citations ( What are Smart Citations? ) Code, Data, Media Code, Data and Media Associated with this Article alphaXiv Toggle alphaXiv ( What is alphaXiv? ) Links to Code Toggle CatalyzeX Code Finder for Papers ( What is CatalyzeX? ) DagsHub Toggle DagsHub ( What is DagsHub? ) GotitPub Toggle Gotit.pub ( What is GotitPub? ) Huggingface Toggle Hugging Face ( What is Huggingface? ) ScienceCast Toggle ScienceCast ( What is ScienceCast? ) Demos Demos Replicate Toggle Replicate ( What is Replicate? ) Spaces Toggle Hugging Face Spaces ( What is Spaces? ) Spaces Toggle TXYZ.AI ( What is TXYZ.AI? ) Related Papers Recommenders and Search Tools Link to Influence Flower Influence Flower ( What are Influence Flowers? ) Core recommender toggle CORE Recommender ( What is CORE? ) Author Venue Institution Topic About arXivLabs arXivLabs: experimental projects with community collaborators arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website. Both individuals and organizations that work with arXivLabs have embraced and accepted our values of openness, community, excellence, and user data privacy. arXiv is committed to these values and only works with partners that adhere to them. Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs . Which authors of this paper are endorsers? | Disable MathJax ( What is MathJax? )