The Decoder • 26일 전

정답이 공개되지 않아 GPT와 클로드가 브리지워터 금융 테스트에서 탈락하다

IMP

8/10

핵심 요약

헤지펀드 브리지워터와 미라 무라티의 씽킹 머신스 랩은 자체 전문가 데이터로 오픈소스 모델(Qwen3-235B)을 미세조정(Fine-tuning)하여 일반 상용 AI 모델(GPT, 클로드 등)을 뛰어넘는 성능을 달성했습니다. 기업이 민감한 내부 데이터를 빅테크에 넘기지 않고도 자체적으로 비용 효율적이고 강력한 맞춤형 AI를 구축할 수 있음을 보여주는 중요한 사례입니다.

번역된 본문

GPT와 클로드가 브리지워터의 금융 테스트에서 탈락한 이유: 정답이 결코 공개되지 않았기 때문이다

작성자: Maximilian Schreiner 날짜: 2026년 7월 3일

핵심 요점:

브리지워터와 씽킹 머신스 랩은 선도적인 상용 모델들을 능가하는 성능을 보이는 금융 문서 분석용 오픈소스 AI 모델을 구축했습니다.
자체 내부 전문가 지식으로 미세조정(Fine-tuning)된 Qwen3-235B 모델은 테스트에서 약 85%의 정확도를 달성했으며, 운영 비용은 14배 더 저렴합니다.
이는 기업들이 대형 AI 공급업체와 민감한 정보를 공유하지 않고도 자체 데이터를 활용해 강력한 AI 솔루션을 개발할 수 있음을 보여줍니다.

헤지펀드 브리지워터와 씽킹 머신스 랩(전 OpenAI 최고기술책임자(CTO) 미라 무라티가 설립한 스타트업)에 따르면, 미세조정된 오픈소스 모델이 금융 문서를 평가하는 데 있어 최고 수준의 AI 모델들을 극히 적은 비용으로 압도한다고 합니다. 이 수치는 두 기업의 자체 내부 평가에서 나온 결과입니다.

투자자들은 매일 뉴스, 시장 분석, 기업 공시, 이메일 등에 파묻혀 지냅니다. 브리지워터의 AIA 랩과 씽킹 머신스 랩의 보고서에 따르면, 투자자들이 하는 진짜 작업은 단순히 텍스트를 읽는 것이 아닙니다. 진짜 업무는 '무엇이 실제로 중요한가'를 끊임없이 반복해서 판단하는 것입니다. 연구진이 자동화하고자 했던 바로 이 지점이었습니다.

연구진은 투자자의 일상 업무에서 뽑아낸 6가지 과제를 정의했습니다. 예를 들어, 특정 금융 기사가 임원에게 관련이 있는지 결정하거나, 중앙은행 문서가 향후 금리 변화의 방향을 암시하는지 파악하는 작업 등입니다. 투자자들에게는 이러한 판단이 매우 쉽지만, 그렇게 판단하는 이유를 언어로 설명하기는 어렵습니다.

보고서는 이를 잘 보여주는 예시를 제공합니다. '트럼프의 그린란드 영유권 주장'에 대한 헤드라인은 관련 없는 것으로 분류되는 반면, '트럼프의 중국 관세 위협'은 매우 중요한 것으로 처리됩니다. 두 가지 모두 지정학과 금융을 다루고 있지만 우선순위가 다릅니다.

(중략)

보고서에 따르면 최신 프론티어 모델(Frontier model)들은 이 테스트에서 실패했습니다. 젬미니(Gemini), 클로드(Claude), GPT의 여러 변형 모델은 기본 프롬프트(prompt)에서 약 50%의 정확도만을 기록했습니다. 전문가가 작성한 지시사항과 3단계 평가 시스템("관련 있고 흥미로움", "관련은 있지만 흥미롭지 않음", "관련 없음")을 도입한 후에야 정확도는 70%대 중반으로 올라갔습니다. 하지만 이는 연구진이 신뢰할 수 있는 배포를 위해 설정한 80% 임계치에 여전히 미치지 못했습니다.

또한 새로운 모델은 비용 대비 큰 발전이 없습니다. 보고서에 따르면 GPT 5.4는 5.2보다 43% 비싸지만 정확도는 근소하게 향상되는 데 그쳤습니다.

진짜 가치는 투자자들의 머릿속에 있다

해결책은 미세조정, 즉 독자적인 사례를 바탕으로 오픈소스 모델을 재학습시키는 것이었습니다. 핵심 재료는 바로 브리지워터 투자자들의 판단력이었습니다. 처음에는 저렴한 외부 하청 업체가 문서에 라벨을 붙였지만, 이 라벨들 중 상당수가 틀렸습니다. 비싼 전문가들이 모든 데이터를 검토해야 하는 상황을 피하기 위해 연구진은 우회 방법을 사용했습니다. 첫 번째 모델이 오류가 있는 라벨을 학습한 뒤 동일한 문서를 다시 평가하게 한 것입니다. 모델의 평가와 기존 라벨이 일치하지 않는 곳에 오류가 있을 확률이 높았습니다. 이렇게 의견이 충돌한 사례만 투자자에게 전달되어 수정을 거쳤습니다.

학습은 오픈소스 모델인 Qwen3-235B를 기반으로 구축된 씽킹 머신스 랩의 틴커(Tinker) 플랫폼에서 진행되었습니다. 팀의 자체 평가에서, 미세조정된 모델은 테스트된 최고 프론티어 모델의 정확도(78.2%)를 뛰어넘는 84.7%의 정확도를 기록했습니다. 또한 운영 비용은 거의 14배나 저렴했습니다.

물론 이것이 100% 객관적이고 독립적인 비교는 아닙니다. 두 회사 모두 자사의 제품을 팔고자 하는 명확한 이해관계가 있습니다. 그럼에도 불구하고 이 수치 이면에 담긴 시사점은 주목할 만합니다. 이는 오픈AI 같은 대형 연구소가 세상의 모든 데이터를 흡수한 것은 아니라는 사실을 다시 한번 보여줍니다. 거대한 독점적 기업 데이터 풀과 아직 학습되지 않은 인간 전문가의 지식이 여전히 존재하며, 여기에는 발전의 여지가 충분합니다. 기업이 가장 가치 있는 데이터를 의도적으로 비공개로 유지하는 분야에서는 더더욱 그렇습니다. 누구든 자신의 데이터를 대형 AI 연구소에 넘기면, 결국 그 데이터를 바탕으로 만들어진 제품과 경쟁해야 할 위험을 감수해야 합니다.

티커(Tinker)와 같은 도구를 통해 오픈소스 모델을 미세조정하는 것은 기업에게 강력한 AI를 자체적으로 구축할 수 있는 능력을 부여합니다.

원문 보기

원문 보기 (영어)

GPT and Claude failed Bridgewater's finance tests because the right answers were never public Maximilian Schreiner View the LinkedIn Profile of Maximilian Schreiner Jul 3, 2026 Nano Banana Pro prompted by THE DECODER Key Points Bridgewater and Thinking Machines Lab have trained an open-source AI model for analyzing financial documents that outperforms leading commercial models. The Qwen3-235B model, which has been fine-tuned using internal expert knowledge, achieves nearly 85 percent accuracy in tests and is 14 times cheaper to operate. This demonstrates that companies can develop powerful AI solutions using their own data without having to share sensitive information with large providers. Ask about this article… Search Hedge fund Bridgewater and Thinking Machines Lab say a fine-tuned open-weight model outperforms the strongest AI models at evaluating financial documents, at a fraction of the cost. The numbers come from their own internal evaluation. Investors get buried in news, analysis, corporate filings, and emails every day. According to a report from Bridgewater's AIA Labs and Thinking Machines Lab , the startup founded by former OpenAI CTO Mira Murati, reading isn't the real work. The real work is the constant stream of small, repeated judgment calls about what actually matters. That's the triage the researchers wanted to automate. They defined six tasks drawn from an investor's daily routine. One example: deciding whether a financial article is relevant to an executive. Another: whether a central bank document signals the direction of future rate changes. For investors, these calls are trivial, but they can barely put their reasoning into words. The report gives a telling example. A headline about Trump's claim to Greenland gets flagged as irrelevant, while Trump's threat of new China tariffs is highly relevant. Both touch on geopolitics and finance. Ad Frontier models failed in the authors' tests. Variants of Gemini, Claude, and GPT hit only about 50 percent accuracy with a basic prompt. Expert-written instructions and a three-tier rating system ("relevant and interesting," "relevant but uninteresting," "irrelevant") pushed accuracy into the mid-70s. That still fell short of the 80 percent threshold the authors set for trustworthy deployment. Ad DEC_D_Incontent-1 Newer models barely improve per dollar, the report says. GPT 5.4 costs 43 percent more than 5.2 but is only marginally more accurate. The real value lives inside investors' heads The solution was fine-tuning, retraining an open-weight model on proprietary examples. The key ingredient was the Bridgewater investors' judgment: At first, cheap outside contractors labeled the documents, but many of those labels were wrong. To avoid having expensive professionals review everything, the researchers used a workaround. A first model learned from the flawed labels and re-evaluated the same documents. Wherever the model and the original label disagreed, there was likely an error. Only those disputed cases went to investors for correction. Ad Training ran on the Tinker platform from Thinking Machines Lab, built on top of the open model Qwen3-235B. In the team's own evaluation, the fine-tuned model hit 84.7 percent accuracy versus 78.2 percent for the best frontier model tested. It also cost nearly 14 times less to run. This isn't a truly independent comparison, of course. Both companies have a clear interest in selling their product. Still, the finding beyond the numbers is worth noting. It shows once again that the big labs like OpenAI haven't absorbed all the data out there. Huge pools of proprietary corporate data and untrained human expertise still exist, and they hold real room for improvement. That's especially true where companies deliberately keep their most valuable data private. Anyone who hands that data to a frontier lab risks competing against a product built on top of it. Ad DEC_D_Incontent-2 Fine-tuning open models through tools like Tinker gives companies an alternative. They keep the weights, the data, and, depending on the setup, the GPUs themselves. Ad AI News Without the Hype – Curated by Humans Subscribe to THE DECODER for ad-free reading, a weekly AI newsletter, our exclusive "AI Radar" frontier report six times a year, full archive access, and access to our comment section. Subscribe now Source: ThinkingMachines

금융 AI 미세조정(Fine-tuning) 오픈소스 모델 데이터 보안 브리지워터