파라미터 30억(3B) 개의 소형 언어 모델인 VibeThinker-3B가 혁신적인 사후 학습 파이프라인을 통해 최신 대형 모델들을 능가하는 추론 성능을 달성했습니다. 단계별 지도 미세조정(SFT), 다중 도메인 강화학습, 오프라인 자가 증류를 결합해 수학 및 코딩 벤치마크에서 DeepSeek V3.2 등 대형 모델들과 동등하거나 더 뛰어난 결과를 보여주며, 작은 모델도 최적화된 학습법을 통해 최고 수준의 성능을 낼 수 있음을 증명했습니다.
화중과학기술대학교 및 VIVO AI Lab 연구진이 발표한 'Moebius(모에비우스)'는 2,200만 개(0.22B)의 파라미터만으로 119억 개(11.9B) 파라미터 규모의 거대 산업용 모델(FLUX.1-Fill-Dev)과 맞먹거나 이를 뛰어넘는 이미지 인페인팅(이미지 채움/수정) 성능을 달성한 혁신적인 경량 모델입니다. 새로운 어텐션 블록 구조와 다중 해상도 증류(Knowledge Distillation) 기술을 결합하여, 기존 100억 규모 모델 대비 파라미터는 2% 미만으로 줄이면서도 추론 속도는 15배 이상 향상시켰습니다. 이는 일반 소비자용 GPU 및 엣지 디바이스에서도 고품질의 이미지 생성 및 편집이 가능함을 의미하며, AI 모델의 실사용성 및 효율성 측면에서 매우 중요한 연구로 평가받습니다.
미니맥스(MiniMax)는 그룹드 쿼리 어텐션(GQA) 기반의 새로운 희소 어텐션 기술인 MSA를 발표했습니다. 이 기술은 가벼운 인덱스 브랜치를 통해 핵심 데이터 블록만 처리하여 연산량을 크게 줄이면서도 기존 모델과 동등한 성능을 유지합니다. 이를 통해 100만 토큰의 긴 컨텍스트를 처리할 때 토큰당 어텐션 연산량을 28.4배나 획기적으로 감소시킬 수 있습니다.