The Decoder • 31일 전

시나 오픈소스 모델, '추론은 압축 가능·지식은 불가' 입증

IMP

8/10

핵심 요약

중국 시나(Sina)가 공개한 30억 매개변수(3B) 규모의 소형 언어 모델 'VibeThinker-3B'가 수학 및 코딩 벤치마크에서 자신보다 수백 배 큰 초대형 모델들과 맞먹는 성능을 기록했습니다. 이는 논리적 추론 능력은 최적화된 사후 학습(Post-training)을 통해 소형 모델로도 압축이 가능하지만, 방대한 사실 지식은 여전히 대형 모델이 필요하다는 연구 가설을 뒷받침합니다. 이는 AI 개발자들에게 파라미터 확장보다 학습 방법과 데이터 품질의 중요성을 시사하는 중요한 사례입니다.

번역된 본문

겨우 30억 개의 매개변수(3B)를 가진 중국어 언어 모델이 수학 및 코딩 작업에서 자신보다 100배 더 큰 모델들과 맞먹는 성능을 보여줄 때가 있습니다. 이 모델을 개발한 연구진은 AI 능력이 어떻게 구성되어 있는지에 대한 가설을 세웠습니다.

웨이보(Weibo)의 모회사인 시나(Sina)는 고난도 수학 및 코딩 작업에서 현재의 최고 수준 모델들과 경쟁하는 소형 언어 모델을 공개했습니다. 기술 보고서에 따르면, VibeThinker-3B는 AIME26과 같은 경쟁력 있는 벤치마크에서 DeepSeek V3.2 및 Kimi K2.5와 동등한 성능을 보여줍니다. 비교 대상인 두 모델은 각각 이 모델보다 200~333배 더 많은 매개변수를 가지고 있습니다.

시나는 이 모델을 최고 수준의 성능 경쟁을 위해 AI 모델이 실제로 얼마나 많은 컴퓨팅 파워를 필요로 하는지 알아보기 위한 실험으로 자리매김했습니다. 2025년 11월에 출시된 이전 버전인 VibeThinker-1.5B의 뒤를 이어, 새로운 버전은 단순히 '크기 대비 성능이 좋은' 수준을 넘어 소형 모델이 진정한 최상위권 성능에 도달할 수 있는지를 묻는 수준으로 한층 더 발전했습니다.

논리적 추론은 소형화되지만, 사실 지식은 그렇지 않다

결과는 두 가지 다른 이야기를 들려줍니다. 수학 올림피아드나 프로그래밍 대회처럼 명확하게 검증 가능한 해답이 있는 구조화된 작업에서 VibeThinker-3B는 GLM-5나 Gemini 3 Pro 같은 모델과 맞먹는 성능을 보여줍니다. 코딩 벤치마크인 LiveCodeBench에서는 200억(20B) 매개변수 미만의 모든 모델을 제쳤습니다.

반면 사실적 지식은 다른 이야기입니다. 지식이 집중적으로 요구되는 GPQA-Diamond 벤치마크에서는 훨씬 더 큰 경쟁 모델들에 크게 뒤처집니다.

데이터 오염(Data contamination) 가능성을 배제하기 위해 연구진은 학습이 모두 끝난 후인 2026년 4월 말부터 5월 말 사이에 열린 LeetCode 대회에 이 모델을 투입시켰습니다. VibeThinker-3B는 128개의 문제 중 123개를 첫 번째 시도에서 풀었습니다. 이는 GPT-5.2, Qwen3-Max, Kimi K2.5, Claude Opus 4.6을 앞서는 성과입니다. GPT-5.3-Codex, Gemini 3.1 Pro, Gemini 3 Flash에 뒤처지기는 하지만 그 격차는 크지 않았습니다.

사후 학습(Post-training)이 중요한 역할을 수행한다

VibeThinker-3B는 알리바바의 Qwen2.5-Coder-3B를 기반으로 구축되었습니다. 시나의 핵심 기여는 방대한 데이터셋에 대한 일반적인 사전 학습(Pre-training) 이후에 이루어지는 모든 작업인 '사후 학습(Post-training)'에 있습니다. 보고서에 따르면, 이 사후 학습 과정이 30억(3B) 매개변수 모델을 최고 수준의 퍼포머로 끌어올렸습니다.

사후 학습은 여러 단계로 진행됩니다. 첫째, 수학, 코딩 및 일반 대화를 포괄하는 지도 미세조정(Supervised fine-tuning)을 통해 모델은 광범위한 작업을 학습합니다. 그다음 고난도의 다단계 추론 문제에 맞춰집니다. 이어서 수학, 프로그래밍, STEM 분야에 순차적으로 강화학습(Reinforcement learning)이 적용됩니다. 이후 자기 증류(Self-distillation)를 통해 각 단계에서 얻은 기술을 단일 모델로 통합합니다. 마지막 단계에서는 모델이 지시 사항을 더 잘 따르도록 조정합니다.

미세조정 과정에서 팀은 의도적으로 매우 다양한 해결 경로를 구축합니다. 그런 다음 강화학습을 통해 효과가 입증된 방식들을 강화합니다. 이 모델의 핵심 논리는 우수한 성능이 더 많은 매개변수에서 나오는 것이 아니라 훈련 방법, 데이터 품질, 그리고 신뢰할 수 있는 검증 신호에서 나온다는 것입니다.

이것이 AI 역량의 구조에 의미하는 바

이러한 결과를 바탕으로 저자들은 소위 '매개변수 압축-적용범위 가설(Parametric Compression-Coverage Hypothesis)'을 제안합니다. AI의 다양한 역량은 각각 다른 구조를 가지고 있으며, 이에 따라 다른 수의 매개변수가 필요하다는 것입니다.

수학 문제를 단계별로 푸는 것과 같은 논리적 추론은 소수의 반복되는 패턴에 의존합니다. 탐색, 조건 확인, 오류 수정, 중간 결과 결합 등이 그 예입니다. 이러한 종류의 기술은 간결하게 압축되어 소형 모델 안에 담길 수 있습니다.

원문 보기

원문 보기 (영어)

Sina's open model VibeThinker-3B aims to show reasoning compresses well but factual knowledge doesn't Jonathan Kemper View the LinkedIn Profile of Jonathan Kemper Jun 28, 2026 Nano Banana Pro prompted by THE DECODER Key Points Weibo's new VibeThinker-3B has just three billion parameters but matches top models up to 333 times its size on math and coding benchmarks. The performance comes from multi-stage post-training applied to an Alibaba base model. On tasks that require broad factual knowledge, however, the small model falls well behind. The researchers conclude that structured logical reasoning relies on few patterns and compresses well, while broad world knowledge still needs large models. Ask about this article… Search A Chinese language model with just three billion parameters sometimes matches models a hundred times larger on math and coding tasks. The researchers behind it have developed a hypothesis about how AI capabilities are structured. Weibo's parent company Sina has released a small language model that competes with today's top models on hard math and coding tasks. According to a technical report , VibeThinker-3B performs on par with DeepSeek V3.2 and Kimi K2.5 on competitive benchmarks like AIME26. Both of those models have 200 to 333 times more parameters. Sina positions the model as an experiment in figuring out how much compute a model actually needs to compete at the top. Its predecessor, VibeThinker-1.5B, launched in November 2025. The new version pushes further, asking whether a small model can hit genuine top-tier performance, not just be "good for its size." Ad Logic scales down, factual knowledge doesn't The results tell two different stories. On structured tasks with clearly verifiable solutions, like math olympiads or programming challenges, VibeThinker-3B matches models like GLM-5 or Gemini 3 Pro. On LiveCodeBench, it beats every other model under 20 billion parameters. Ad DEC_D_Incontent-1 Factual knowledge is a different story. On the knowledge-heavy GPQA-Diamond benchmark, the model falls well behind its much larger competitors. To rule out data contamination, the team had the model compete in LeetCode contests held between late April and late May 2026, after training wrapped up. VibeThinker-3B solved 123 out of 128 problems on the first try. That puts it ahead of GPT-5.2, Qwen3-Max, Kimi K2.5, and Claude Opus 4.6. It trails only GPT-5.3-Codex, Gemini 3.1 Pro, and Gemini 3 Flash, but not by much. Ad Post-training does the heavy lifting VibeThinker-3B builds on Alibaba's Qwen2.5-Coder-3B. Sina's contribution is the post-training, everything that happens after generic pre-training on large data sets. According to the report, that's what brings a 3B model close to the top performers. Post-training happens in stages. First, the model learns a broad range of tasks through supervised fine-tuning, covering math, coding, and general dialogue. Then it gets tailored for hard, multi-step reasoning problems. Ad DEC_D_Incontent-2 Reinforcement learning follows, applied sequentially for math, programming, and STEM. Self-distillation then consolidates the skills from each phase into a single model. A final step makes sure the model better follows instructions. Ad During fine-tuning, the team deliberately builds up a wide variety of solution paths. Reinforcement learning then strengthens the ones that work. The argument is that performance comes from training methods, data quality, and reliable validation signals rather than from more parameters. What this means for how AI capabilities work Based on these results, the authors propose what they call the "Parametric Compression-Coverage Hypothesis." Different AI capabilities have different structures and need different numbers of parameters. Logical reasoning, like solving a math problem step by step, relies on a few recurring patterns. Searching, checking conditions, correcting errors, combining intermediate results. That kind of skill can be packed into a compact core. World knowledge works differently. Answering open-ended questions across many topics requires broad coverage, meaning lots of parameters storing lots of facts. This reframes what small models are for, the researchers say. They're not just cheap, lightweight versions built for budget inference but an independent research path running parallel to traditional scaling logic. Where tasks are verifiable and have clear solution structures, parameter count isn't the bottleneck anymore. VibeThinker-3B is openly available on Hugging Face and GitHub . Small models catching up to much larger systems on narrow tasks is becoming a pattern. In April, Alibaba's Qwen3.6-27B outperformed its predecessor , which was 15 times larger, across all coding benchmarks. Falcon H1R 7B from Abu Dhabi hit the performance level of models two to seven times its size, according to its makers. Earlier studies on logical gaps in small models suggested they generally hit a wall on multi-step reasoning. The VibeThinker results on verifiable tasks challenge exactly that assumption. AI News Without the Hype – Curated by Humans Subscribe to THE DECODER for ad-free reading, a weekly AI newsletter, our exclusive "AI Radar" frontier report six times a year, full archive access, and access to our comment section. Subscribe now Source: Arxiv

소형언어모델 오픈소스 추론 사후학습 시나