TD
The Decoder • 31일 전
IMP 8
시나 오픈소스 모델, '추론은 압축 가능·지식은 불가' 입증
중국 시나(Sina)가 공개한 30억 매개변수(3B) 규모의 소형 언어 모델 'VibeThinker-3B'가 수학 및 코딩 벤치마크에서 자신보다 수백 배 큰 초대형 모델들과 맞먹는 성능을 기록했습니다. 이는 논리적 추론 능력은 최적화된 사후 학습(Post-training)을 통해 소형 모델로도 압축이 가능하지만, 방대한 사실 지식은 여전히 대형 모델이 필요하다는 연구 가설을 뒷받침합니다. 이는 AI 개발자들에게 파라미터 확장보다 학습 방법과 데이터 품질의 중요성을 시사하는 중요한 사례입니다.
소형언어모델 오픈소스 추론