#소형언어모델(slm)

VibeThinker-3B, 새로운 학습법으로 대형 모델 능가

파라미터 30억(3B) 개의 소형 언어 모델인 VibeThinker-3B가 혁신적인 사후 학습 파이프라인을 통해 최신 대형 모델들을 능가하는 추론 성능을 달성했습니다. 단계별 지도 미세조정(SFT), 다중 도메인 강화학습, 오프라인 자가 증류를 결합해 수학 및 코딩 벤치마크에서 DeepSeek V3.2 등 대형 모델들과 동등하거나 더 뛰어난 결과를 보여주며, 작은 모델도 최적화된 학습법을 통해 최고 수준의 성능을 낼 수 있음을 증명했습니다.

소형언어모델(slm) 추론(reasioning) 강화학습(rl)

Hacker News • 77일 전

IMP 8

제미나이 도구 호출 기능, 2천6백만 파라미터 초소형 모델로 증류

Cactus Compute 팀이 구글의 제미나이(Gemini) 모델의 툴 콜링(Tool Calling) 기능을 단 2천6백만(26M) 파라미터를 가진 'Simple Attention Network' 모델(Needle)로 경량화하여 깃허브에 공개했습니다. 이 모델은 파인튜닝 없이도 FunctionGemma-270m, Qwen-0.6B 등 기존 경쟁 모델들을 단일 툴 콜 성능에서 뛰어넘으며, 가벼운 웨이트 덕분에 로컬 PC 및 스마트워치, 안경 등 소비자 기기에서 초당 수천 토큰을 처리할 수 있는 실용성을 갖췄습니다.

소형언어모델(SLM) 오픈소스 모델경량화