Hacker News • 60일 전

AI 코딩 에이전트에 원시인 말투를 시키면 토큰이 절약될까?

IMP

7/10

핵심 요약

JetBrains에서 'Caveman'이라는 프롬프트 스킬이 토큰을 65% 절약해준다는 주장을 실험을 통해 검증했습니다. 그 결과, 에이전트의 핵심 출력인 코드와 도구 호출은 그대로 유지되므로 실제로는 토큰이 약 8.5% 절약되는 데 그쳤습니다. 다행히 작업 품질이 저하되지는 않았지만, 에이전트 작업 시 과도한 비용 절감 효과는 기대하기 어렵다는 것이 입증되었습니다.

번역된 본문

원문 제목: 에이전트에게 원시인처럼 말하게 하면 토큰이 65% 절약될까? 우리가 직접 테스트해 봤습니다 출처: 해커뉴스

JetBrains AI - 수많은 JetBrains 제품 내에서 AI 기반 기능으로 도구를 한층 더 강화하세요. 팔로우 팔로우: RSS RSS 더 탐색하기 에이전트 AI(Agentic AI) AI AI 어시스턴트

에이전트에게 원시인처럼 말하게 하면 정말 토큰이 65% 절약될까요? 우리가 직접 테스트했습니다. Denis Shiryaev SkillsBench에서 Claude Code를 대상으로 진행한 토큰 압축 스킬 'Caveman'의 짝비교 A/B 벤치마크: 이것이 실제로 토큰을 절약해주는지, 그리고 AI 에이전트의 출력 품질을 저하시키는지 확인해 보았습니다.

실제 에이전트 작업에서 스킬을 강제로 활성화했을 때의 출력 토큰 절감량입니다. 이는 최상의 결과이며 일반적인 결과가 아닙니다.

왜 이 실험을 했는가 JetBrains 우리는 코딩 에이전트와 관련된 도구에 대한 적절한 테스트에 점점 더 많이 투자하고 있으며, 그중 'Caveman'이라는 스킬에 주목하게 되었습니다. 이 스킬의 소개글은 그 스킬의 억양 그대로 가장 잘 설명됩니다:

스킬, 에이전트 원시인처럼 말하게 함. 왜 토큰 많이 쓰는가, 적게 써도 충분함. 불필요한 말은 사라짐. 코드와 명령어는 정확히 그대로 유지. 출력 토큰 65% 절약됨. 모든 응답에 적용. 영원히. 30개 이상의 에이전트와 호환됨. GitHub 스타 수매우 많음.

우리의 생각: 주장은 하기 쉽습니다. 검증은 비용이 듭니다. 에이전트는 채팅 창이 아닙니다. 에이전트의 출력은 대부분 도구 호출(tool call), 파일 수정, 코드입니다. 이 스킬은 해당 부분은 건드리지 않겠다고 약속합니다. 따라서 우리는 README에 측정되지 않은 두 가지를 측정했습니다. 다단계 에이전트 작업에서의 실제 절감량, 그리고 에이전트의 사고 과정을 압축하는 것이 작업 결과에 악영향을 미치는지 여부입니다.

실험 설정 '강제'가 중요한 이유: Caveman은 사용자가 활성화해야 합니다. '원시인 모드(caveman mode)'나 '간결하게'라는 문구로 트리거됩니다. 우리는 이것을 매 응답마다 강제로 켜두었으며, 이는 아래의 모든 수치가 이 스킬의 최상의 결과(Best case)임을 의미합니다. 에이전트가 스스로 활성화 여부를 결정해야 하는 일반적인 사용 환경에서는, 실제 절감률이 여기서 측정된 약 10%의 최대치와 같거나 그보다 낮을 수밖에 없습니다.

발견 1: 절감량은 65%가 아닌 약 8.5%입니다 광고된 절감량은 채팅 스타일의 글을 읽는 답변에서 나옵니다. 에이전트의 출력은 다릅니다. 코드, diff(변경 사항), 도구 호출, 그리고 정확한 에러 문자열이 토큰 스트림을 차지하며, Caveman은 이 모든 것을 올바르게 원문 그대로 남겨둡니다. 압축되는 것은 도구 호출 사이의 설명뿐이며, 이는 그리 많지 않습니다.

발견 2: 감지할 수 있는 품질 저하 없음 우리가 실제로 신경 쓴 질문: 에이전트가 말을 간결하게 하는 것이 에이전트를 더 나쁘게 만드는가? 전체 실행에 걸친 82개의 쌍을 이룬 작업에서 답은 '아니오'입니다. 두 그룹 간의 차이는 통계적으로 구별할 수 없는 수준이었습니다. 스타일 변환 자체는 설계된 대로 완벽하게 작동했습니다. 강제 적용 그룹의 대화 내용은 확실히 원시인 말투였지만, 코드 산출물은 그대로이고 정상이었습니다.

발견 3: 비용 절감은 실제하지만 취약합니다 비용은 약 8.5%의 토큰 절감량을 따라가므로, 이 스킬을 적용한 그룹이 대략 10% 더 저렴해야 하며 작업당 실제로 그렇게 나옵니다. 하지만 전체 실행의 결과를 보면 스킬 적용 그룹이 11.6% 더 비싸게 나왔습니다. 40.60달러 vs 36.39달러입니다. 이 역전 현상은 전적으로 단 한 번의 테스트에서 비롯되었습니다. 하나의 종속성 감사(dependency-audit) 작업이 스킬 그룹에서 20만 토큰의 긴 컨텍스트(long-context) 가격 구간을 넘어버려 0.33달러 대신 8.29달러가 청구된 것입니다. 이전 테스트에서는 동일한 작업이 기준 그룹에서 3.25달러의 이상치를 발생시켰습니다. 이는 스킬의 특성이 아니라 작업 자체의 특성입니다.

결론 안전하고 스타일에 솔직하지만, 절감량은 과장되었습니다. 강제로 켜두었을 때, Caveman은 에이전트가 생산하는 것에 대해 측정 가능한 손상 없이 에이전트가 말하는 방식을 확실하게 변경했습니다: 82개의 쌍을 이룬 작업, 부호 검정 p = 0.82. 하지만 실제 에이전트 작업에서는 출력 토큰의 약 8.5%와 절대적인 최대치의 비용 약 10%를 줄일 뿐입니다. 왜냐하면 에이전트 세션을 지배하는 토큰은 이 스킬이 의도적으로 보존하는 코드와 도구 호출이기 때문입니다. 광고된 65% 절감은 코딩 에이전트가 아닌 채팅 스타일의 Q&A에 해당합니다.

권장 사항: 마음에 든다면 사용하세요. 재미있으며 품질에서 측정할 수 있는 손실이 전혀 없습니다. 단, 일상적인 에이전트 작업에서 엄청난 비용 절감을 기대하지는 마십시오. 10% 미만의 한 자릿수 비율이 현실적인 한계입니다.

품질: 감지할 수 있는 저하 없음: 8개 작업 향상, 10개 작업 악화, 64개 동점; 0~1 척도에서 작업 점수 차이 평균 0.015 (p = 0.82). 토큰: 활성화를 강제했을 때 출력 토큰 -8.5%. 이는 곧 최대치를 의미합니다. 자동 트리거 사용 시 절감량은 그보다 적거나 전혀 없습니다. 비용: 예상치 대비 약 -10%. 단일 테스트의 편차로 인해 이점이 자주 사라집니다. 방법론 보너스: 우리의 첫 10개 작업 실행은 -30%의 절감 효과를 '보여주었습니다'.

원문 보기

원문 보기 (영어)

JetBrains AI Supercharge your tools with AI-powered features inside many JetBrains products Follow Follow: RSS RSS Explore More Agentic AI AI AI Assistant Does Speaking to Agents Like Cavemen Really Save 65% of Tokens? We Test Denis Shiryaev A paired A/B benchmark of the token-compression skill Caveman on Claude Code, run on SkillsBench : does it actually save tokens, and does it degrade AI agent output quality? Output-token saving on real agentic tasks, with the skill forcibly activated. This is the ceiling, not the usual-case result. Why we ran this We at JetBrains are investing more and more into proper testing of the tooling around coding agents, and one skill got our attention: “Caveman” . Its pitch is best described in its own dialect: Skill make agent talk like caveman. Why use many token when few do trick. Filler die. Code, commands stay byte-exact. 65% output token saved. Every reply. Forever. Work with 30+ agents. Many GitHub star. We think: Claim cheap to make. Verify expensive. Agent not chat window. Agent output mostly tool call, file edit, code: skill promise not touch those. So we measure two things README not measure: real saving on multi-step agent work, and whether squeezing agent think-out-loud hurt task outcome. Setup Why “forced” matters: Caveman is user-activated. It triggers on phrases like “caveman mode” or “be brief”. We forced it on in every reply, which means every number below is the skill’s best case. In normal use, where the agent must decide to activate it on its own, the realized saving can only be equal or lower than the roughly 10% ceiling measured here. Finding 1: the saving is about 8.5%, not 65% Advertised savings come from chat-style prose answers. Agentic output is different: code, diffs, tool invocations, and exact error strings dominate the token stream, and Caveman correctly leaves all of it verbatim. Only the narration between tool calls gets compressed, and there is not much of it. Finding 2: no detectable quality degradation The question we actually cared about: does making the agent terse make it worse? Across 82 paired tasks in the full run, the answer is no: the arms are statistically indistinguishable. Style transfer itself works exactly as designed: forced-arm transcripts are unmistakably caveman, while code artifacts stay untouched and normal. Finding 3: the cost saving is real but fragile Cost tracks the roughly 8.5% token saving, so the skill arm should come out roughly 10% cheaper, and per task, it does. But the raw arm totals in our full run showed the skill arm 11.6% more expensive: USD 40.60 vs. USD 36.39. The entire inversion came from a single trial: one dependency-audit task ballooned past the 200k long-context pricing tier in the skill arm and billed USD 8.29 vs. USD 0.33 . In an earlier run the same task threw a USD 3.25 outlier in the baseline arm. It is a property of the task, not the skill. Outcome Safe, honest about style, oversold on savings. Forced on, Caveman reliably changes how the agent talks without any measurable damage to what the agent produces: 82 paired tasks, sign test p = 0.82. But on real agentic work it trims about 8.5% of output tokens and about 10% of cost at absolute best, because the tokens that dominate agent sessions are code and tool calls, which the skill deliberately preserves. The advertised 65% belongs to chat-style Q&A, not to coding agents. Recommendation: use it if you like it. It is fun, and it costs you nothing measurable in quality. Just do not expect huge savings on daily agentic tasks: a high-single-digit percentage is the realistic ceiling. Quality: no detectable degradation: 8 tasks better, 10 worse, 64 tied; average task score differs by 0.015 on a 0-1 scale (p = 0.82). Tokens: -8.5% output tokens with activation forced, meaning this is the ceiling; auto-triggered usage saves less or nothing. Cost: roughly -10% in expectation, routinely erased by single-trial variance. Methodology bonus: our first 10-task run “showed” a -30% token saving. It dissolved as sample size grew. Never trust a k=1 eval. You want next skill tested? Drop name in comments. Few word enough. We test. Run details: Harbor 0.17; claude-sonnet-5 with reasoning effort low; SkillsBench 86/87 tasks; about 240 trials; about USD 106 total spend. Share Facebook Twitter Linkedin Prev post GitHub Copilot now an Integrated Agent in JetBrains IDEs Does "rtk" skill really cut agent tokens by 60–90%? We tested it Next post Subscribe to JetBrains AI Blog updates Subscribe form By submitting this form, I agree to the JetBrains Privacy Policy Notification icon By submitting this form, I agree that JetBrains s.r.o. ("JetBrains") may use my name, email address, and location data to send me newsletters, including commercial communications, and to process my personal data for this purpose. I agree that JetBrains may process said data using third-party services for this purpose in accordance with the JetBrains Privacy Policy . I understand that I can revoke this consent at any time in my profile . In addition, an unsubscribe link is included in each email. Submit Thanks, we've got you! Discover more Ponytail Skill for Claude Code: Does It Really Cut Agent Code by 54%? Part 3 of a series where we take public "token saver" add-ons for coding agents and run the same paired A/B benchmark against each of them. Part 1 was the caveman skill (advertised −65%, measured −8.5%). Part 2 was rtk (advertised −60–90%, measured +7.6%). We ran 80 paired tasks to test the pony… Denis Shiryaev Introducing JetBrains Context: Repository Intelligence for Coding Agents Today, we’re launching JetBrains Context, a new repository intelligence layer that helps coding agents work more efficiently and produce higher-quality results on complex codebases. As part of the JetBrains AI for Teams and Organizations rollout, JetBrains Context is now available in early access at… Eduard Gurskiy Does "rtk" skill really cut agent tokens by 60–90%? We tested it Does "rtk" reduce Claude Code token usage? Part 2 of a series where we take public “token saving” add-ons for coding agents and run the same paired A/B benchmark against each of them. Part 1 was the caveman skill (advertised −65%, measured −8.5%). TL;DR: rtk advertised saving: 60–90%. Measured… Denis Shiryaev GitHub Copilot now an Integrated Agent in JetBrains IDEs Born out of a deep partnership between JetBrains and GitHub, this integration makes Copilot native in the agent picker and delivers a more stable agent experience directly in the IDE you already use every day. From ACP Registry to native experience Copilot was previously accessible via the… Dominique Rolink

코딩 에이전트 토큰 최적화 클로드 제트브레인즈 AI 테스트