BL
MarkTechPost • 52일 전
커서, GB300 최적화 결정론적 MoE 훈련 커널 오픈소스화
IMP 7/10
핵심 요약
AI 코딩 스타트업 커서(Cursor)가 자사 모델 훈련에 사용된 'Mixture-of-Kittens(MoK)'를 오픈소스로 공개했습니다. 이 기술은 전문가 혼합(MoE) 통신과 연산을 단일 결정론적 커널로 통합하여 기존 대비 최대 2.37배 높은 처리 속도를 자랑합니다. 단, 엔비디아의 최신 GB300 NVL72 랙 환경이 필요하여 일반 개발자가 접근하기는 어렵다는 특징이 있습니다.
번역된 본문
커서 리서치(Cursor Research)는 자사 컴포저(Composer) 모델을 뒷받침하는 MoE(Mixture-of-Experts) 훈련 메가커널인 'Mixture-of-Kittens(MoK)'를 오픈소스로 공개했습니다. MoK는 모든 MoE 통신과 연산을 단일 결정론적 커널(deterministic kernel)로 융합하며, GB300 NVL72 랙 환경에서 현재 공개된 기술 중 가장 뛰어난 기준 대비 최대 2.37배 더 빠르게 실행됩니다. 단, 이 기술은 블랙웰(Blackwell) SM100 또는 SM103 GPU를 필요로 하기 때문에 NVL72급 인프라 역량을 갖추지 못한 곳에서는 사용할 수 없습니다.
커서, GB300 NVL72 랙을 위한 결정론적 MoE 훈련 메가커널 'Mixture-of-Kittens(MoK)' 오픈소스화 글은 MarkTechPost에 처음 게재되었습니다.
원문 보기 (영어)
Cursor Research has open-sourced Mixture-of-Kittens (MoK), the MoE training megakernel behind its Composer models. MoK fuses all mixture-of-experts communication and computation into a single deterministic kernel, and runs up to 2.37x faster than the strongest public baseline on GB300 NVL72 racks. It requires Blackwell SM100 or SM103 GPUs, which puts it out of reach for anyone without NVL72 capacity.
The post Cursor Open-Sources Mixture-of-Kittens (MoK): A Deterministic MoE Training Megakernel for GB300 NVL72 Racks appeared first on MarkTechPost.