90억(9B) 개의 매개변수를 가진 오픈소스 모델을 강화학습(RL)으로 미세조정(Fine-tuning) 하자, 단 500달러의 비용으로도 최첨단 상용 AI 모델들을 특정 업무에서 능가하는 성능을 보여주었습니다. 이 성공의 핵심은 단순한 모델 도입이 아니라 기존 워크플로우를 재설계하고, 회사의 고유한 비즈니스 맥락(Context)을 주입하는 전략적 접근에 있습니다. 이 글은 높은 AI 투자 수익률(ROI)을 달성하는 선도 기업들이 오픈소스 모델의 강화학습 파인튜닝에 주목하는 이유를 분석합니다.
번역된 본문
1부. 모두가 같은 질문을 던졌다
2022년 ChatGPT가 출시된 이후, 비즈니스 리더들은 모두 같은 질문을 던져왔습니다. "AI가 우리 회사를 위해 무엇을 해줄 수 있는가?" 그 대답은 위험 부담이 적은 작업에서 시작되었습니다. 문서 요약, 이메일 초안 작성, 그리고 인간이 수정할 첫 번째 초안을 만들어내는 일 등이었습니다. 이는 곧 소프트웨어 개발 및 콘텐츠 생성과 같은 더 높은 가치를 지닌 인지적 업무로 빠르게 확장되었고, 더 나아가 내부 지식, 데이터, 도구와 연결되어 업무를 조정하고 궁극적으로는 기업의 특정 부서를 자율적으로 운영하는 '회사의 두뇌(AI company brain)'를 구축하려는 야심 찬 프로젝트들로까지 발전했습니다.
많은 시간과 에너지, 그리고 토큰(Tokens)이 AI 도입을 위해 투자되었음에도, 대규모로 측정할 수 있는 성과를 거둔 곳은 극히 드물었습니다. 하지만 일부 기업은 'AI 우선주의(AI-first)'를 채택하여 생산성, 수익 및 비용 절감 측면에서 엄청난 이익을 보았고, 다른 기업들은 뒤처지거나 높은 투자 수익률(ROI)을 얻기에는 조직을 충분히 혁신하지 못했습니다. 기업 경비 관리 플랫폼인 Ramp의 최근 데이터는 성과의 뚜렷한 대조를 보여줍니다. 2022년 11월부터 2025년 12월 사이에 AI에 투자한 상위 25% 기업들의 수익은 두 배 이상 증가한 반면, AI에 전혀 지출하지 않은 기업들의 수익은 15% 미만의 증가에 그쳤습니다.
AI가 일부 회사에서는 기적적인 성과를 냈지만 다른 회사들은 투자 수익을 얻지 못한 데는 여러 이유가 있지만, 연구는 주로 5가지 방향을 가리키고 있습니다.
단순한 업무가 아닌 프로세스를 재설계하라 (Redesign the process, not just the task)
'AI 우선주의'를 채택한다는 것은 사람 중심으로 구축된 기존 워크플로우에 모델을 끼워 넣는 것이 아니라, 업무의 구조 자체를 재설계하는 것을 의미합니다. 무엇이 승인되는지, 누가 무엇을 검토하는지, 그리고 어떤 인계 과정(handoff)에 여전히 사람이 필요한지를 다시 생각해야 합니다. 프로세스가 그대로 유지되는 곳에서는, 기존의 병목 현상이 생산성 향상 분을 흡수해버려 손익(P&L)에 도달하기도 전에 없애버립니다. 생성형 AI를 사용하는 조직을 대상으로 한 맥킨제이(McKinsey)의 2025년 설문 조사에 따르면, 워크플로우 재설계가 EBIT(영업이익) 영향력과 가장 상관관계가 높았으나, 이들 중 단 21%만이 워크플로우를 재설계한 것으로 나타났습니다.
실험에 대한 보상 체계를 마련하라 (Incentivize experimentation)
모델, 도구 및 모범 사례가 매주 변하기 때문에, 지난 분기의 설정이 이번에도 적합한 경우는 거의 없습니다. 이는 단순히 결과물을 배포하는 것뿐만 아니라, 새로운 시도를 하고 실패한 것을 보고하는 사람들에게 보상을 줄 때만 파악할 수 있습니다. 기술 팀은 여러 부서에서 동일한 문제가 반복되는 것을 보고 모델이 실제로 어떤 문제를 해결할 수 있는지 알 수 있으므로, 실험을 시작하기에 가장 적합한 곳입니다.
맞춤형 비즈니스 맥락(Context)을 제공하라 (Provide tailored business context)
프롬프트 엔지니어링(Prompt engineering)과 검색(Retrieval) 기술을 통해 AI 모델 호출 시점에 비즈니스 맥락을 주입할 수 있지만, 이를 제대로 수행하는 것 자체가 하나의 복잡한 엔지니어링 프로그램입니다. 데이터에 접근하고, 각 요청이 볼 수 있는 항목에 대한 엑세스 제어를 시행하며, 올바른 증거를 끌어오는 검색 시스템을 구축하고, 모델이 커질수록 불균등하게 사용하는 컨텍스트 창(Context window)을 관리해야 합니다.
사용량과 영향도를 측정하라 (Measure usage and impact)
모든 AI 예산 항목은 결국 재무 책임자(CFO)의 질문과 마주하게 됩니다. "이 도입이 무엇을 바꾸었으며, 그 비용을 지불할 가치가 있었는가?" 대부분의 배포 과정에서 아무도 이 질문에 대답할 수 없습니다. 모델의 성능, 의사결정 비용 또는 효율성에 미치는 영향을 추적할 인프라가 없으며, 개인이 스스로 보고하는 시간 절약량은 종종 부정확합니다. 자체 데이터에 대한 점수 기반 평가가 없다면, 소위 '감에 의한 평가(Vibe evaluation)'가 당신이 주장할 수 있는 한계이며 방어하기 어려운 예산이 됩니다.
AI 예산 내에서 명확한 비즈니스 목표를 설정하라 (Set clear business goals within the AI budget)
AI는 대부분의 기업에게 낯선 가격 책정 모델을 도입했습니다. 사용자당 과금하는 대신 토큰(Token)당 비용을 지불하므로 비용이 사용량에 따라 증가하며, 이로 인해 내부 워크로드에 대한 비용 계획을 세우거나 자본 효율성 개선을 추정하기가 어렵습니다. 우버(Uber)는 불과 4개월 만에 연간 엔지니어링 예산을 모두 소진했고, 마이크로소프트(Microsoft)는 비용을 다시 통제하기 위해 대부분의 클로드(Claude) 라이선스를 취소했습니다. 오늘날의 가격은 또한 문제의 본질을 과소평가하고 있습니다. 대부분의 AI 연구소들이 시장 점유율을 확보하기 위해 토큰 비용을 보조하고 있으며, 최첨단 모델의 가격은 앞으로 더 오를 것으로 예상되기 때문입니다.
이 기사에서는 성공적인 기업들이 지속적으로 수렴하고 있는 배포 기술, 즉 강화학습(Reinforcement learning)을 통한 오픈소스 모델 미세조정(Fine-tuning)에 대해 자세히 살펴볼 것입니다. 우리는 이 기술이 앞서 언급한 마지막 세 가지 문제(맞춤형 맥락 제공, 성과 측정, 비용 통제)를 어떻게 해결하는지 다룰 것입니다.
Part I Everyone asked the same question Since ChatGPT launched in 2022, business leaders have been asking the same question: what can AI do for us? The answer began with low-risk tasks: summarizing documents, drafting emails, producing first drafts that a human would edit. It quickly moved into higher-value cognitive work, such as software development and content generation, and grew into more ambitious projects, like attempts to build an AI company brain , a system connected to internal knowledge, data, and tools that could coordinate work and eventually operate parts of the business autonomously. While a lot of time, energy and tokens have been invested in AI adoption, measurable outcomes have barely been achieved at scale. However, some companies embraced being AI-first and saw enormous gains in productivity, revenue, and cost, while others lagged behind or failed to change their organizations enough to reach high ROI. Recent data from corporate expense management platform Ramp reveals a stark contrast in performance: the top quartile of companies investing in AI saw their revenue more than double between November 2022 and December 2025, while businesses with zero AI expenditure experienced a mere 15% increase. There are many reasons why AI has done wonders for some companies while others have struggled to see the return on their investment, but research primarily points in five directions. 01 Redesign the process, not just the task Becoming AI-first means rethinking how the work is structured, not dropping a model into a workflow built around people: what gets approved, who reviews what, and which handoffs still need a human. Where the process stays untouched, legacy bottlenecks absorb the productivity gains before they reach the P&L. In McKinsey's 2025 survey of organizations using gen AI, workflow redesign was the attribute most correlated with EBIT impact , and only 21% of them had redesigned any workflow at all. 02 Incentivize experimentation Models, tooling and best practices change weekly, so last quarter's setup is rarely still the right one. That only gets picked up if people are rewarded for trying things and reporting what failed, not just for shipping. Technical teams are the natural place to start, since they see the same problems recur across functions and can tell which of them a model can actually take over. 03 Provide tailored business context Prompt engineering and retrieval can inject business context at call time, but doing it well is its own engineering program: getting to the data, enforcing access controls on what each request may see, building retrieval that surfaces the right evidence, and managing a context window that models use unevenly as it grows . 04 Measure usage and impact Every AI line item eventually meets the CFO question: what did this change, and was it worth it? In most deployments, nobody can answer it: there is no infrastructure to track the model's performance, decision costs, or impact on efficiency, and self-reported time savings are often inaccurate . Without a scored evaluation on your own data, a "vibe evaluation" is the ceiling of what you can claim, and a hard budget to defend. 05 Set clear business goals within the AI budget AI brought a pricing model most companies were not used to. Paying per token instead of per seat makes costs scale with usage, which makes it hard to lay out a cost plan or estimate the capital efficiency gains for internal workloads. Uber went through its annual engineering budget in four months , and Microsoft cancelled most of its Claude licenses to bring costs back under control. Today's prices also understate the problem, since most AI labs are subsidizing token costs to capture market share , and frontier model prices are expected to rise. In this article we give a detailed overview of the deployment technique the winning group keeps converging on: fine-tuning open-source models with reinforcement learning. We cover how it addresses the last three challenges above, and how it turns knowledge only your organization has (namely data, tools, and processes) into a model no vendor API can match at a fraction of the cost. TL;DR 2.2× Revenue growth of the top quartile of AI spenders between November 2022 and December 2025 in Ramp's data. Companies with zero AI spend grew about 15% over the same three years, in the same economy: the heavy adopters grew eight times as much. 1 Playbook the winners converge on: an open-source model, proprietary task data, and reinforcement learning against a scored copy of the workflow. Bridgewater's trained model makes ~30% fewer mistakes than the best frontier model, Harvey's legal agent beats GPT-5.5 and Claude Opus 4.8 on its own rubrics, and Intercom's Fin Apex resolves more support issues at lower cost. 87.3% Share of the maximum achievable score our GRPO-trained 9B open-source model reached on catalog review, vs 76.9% for the best frontier configuration: a 13.5% relative improvement over the frontier, and 36% over its own untrained base (64.2%). The five frontier models, even with optimized prompts, plateaued within a tenth of a point of each other; the trained specialist cleared that ceiling. 68× Cost advantage per reviewed listing: $0.50 per 1,000 with the specialist vs $34 with the strongest frontier model, and still 40× cheaper than the least expensive frontier option. At roughly 40 million decisions a day, that is about $7M a year instead of $500M, a 98% cost reduction. Part II What the winners do differently Most of the companies pulling ahead in the AI race made the same discovery: owning your intelligence wins on both performance and cost. A model trained to complete your specific workflows in your specific environment is very likely to outperform a general-purpose model that has never seen inside your company. Additionally, since you do not need to pack as many general-purpose capabilities into a model that is meant to operate in a specific environment, you can often get away with a smaller model that is orders of magnitude cheaper to run. Owning your intelligence does not mean cancelling the ChatGPT or Claude subscription. Most workflow automation still starts with frontier models, and that is the right first move: it establishes a baseline for what is technically possible, and every call generates the data (inputs, decisions, corrections) that a specialist model later trains on. Once the automation leaves the prototyping stage, the priority flips to cost and performance at volume, and that is where fine-tuning open-source models with reinforcement learning comes in. In addition to that, your Fable 5 or ChatGPT model can call the specialist model to handle the parts of the workflow that require your internal knowledge, and the specialist model can call the frontier model for tasks that require high general ability. Over the past two years this has hardened into a playbook: an open-source model, proprietary task data, and a reinforcement-learning stage against a scored version of the workflow. Below, we discuss three scenarios where this approach has been applied to real-world tasks. Bridgewater Associates is one of the largest hedge funds in the world. Its analysts sift a constant stream of articles, filings, and emails, judging which documents are relevant to the firm's investment thesis and where boilerplate content begins. The catch is that relevant means relevant by Bridgewater's internal judgment, and no amount of prompting got frontier models to absorb that judgment reliably. So, the company decided to train an open-source model on labels from its own expert investors. The trained model makes roughly 30% fewer mistakes than the best frontier model, at a fraction of the inference cost . Harvey builds AI agents for law firms. Its hardest workloads are long-horizon: transaction due diligence and legal memo drafting, where the agent navigates large document sets, errors compound across steps, and even the best