#MiniMax

미니맥스, 연산량 28배 줄인 희소 어텐션(MSA) 공개

미니맥스(MiniMax)는 그룹드 쿼리 어텐션(GQA) 기반의 새로운 희소 어텐션 기술인 MSA를 발표했습니다. 이 기술은 가벼운 인덱스 브랜치를 통해 핵심 데이터 블록만 처리하여 연산량을 크게 줄이면서도 기존 모델과 동등한 성능을 유지합니다. 이를 통해 100만 토큰의 긴 컨텍스트를 처리할 때 토큰당 어텐션 연산량을 28.4배나 획기적으로 감소시킬 수 있습니다.

미니맥스(m2.7) 맥 전용 모델, 63GB는 88% 89GB는 95%

Mac 전용 MiniMax m2.7 양자화 모델 두 종이 공개되었습니다. 63GB 버전은 MMLU 88%, 89GB 버전은 95%를 기록하며 성능을 입증했습니다. 속도 역시 M5 Max 기준 초당 약 50토큰, 프롬프트 처리 400으로 최상위 클로드 모델(Sonnet 4.5)에 근접하는 로컬 구동 성능을 보여줍니다.