미니맥스 M3 공개, 100만 토큰 컨텍스트
중국의 AI 기업 미니맥스(MiniMax)가 최고 수준의 코딩 성능, 100만 토큰의 컨텍스트 윈도우, 네이티브 멀티모달을 결합한 새로운 오픈 웨이트 모델 M3를 발표했습니다. 새로운 '희소 어텐션(Sparse Attention)' 아키텍처를 도입하여 연산량을 20분의 1로 줄이고 입력 처리 속도를 9배 이상 높였으며, 벤치마크 및 자율 테스트에서 최상위 폐쇄형 모델들과 맞먹는 성능을 입증했습니다.
중국 AI 기업 미니맥스가 새로운 모델 M3를 공개했습니다. 이 모델은 최고 수준의 코딩 성능, 100만 토큰의 컨텍스트 윈도우(Context Window), 네이티브 멀티모달리티(Native Multimodality)를 결합한 최초의 오픈 웨이트(Open-weight) 모델로 평가받고 있습니다.
미니맥스에 따르면, 이러한 조합은 기존 오픈 소스 모델에서는 불가능했으며 Opus 4.7, GPT-5.5, Gemini 3.1 Pro 같은 폐쇄형 상용 모델에만 제한되어 있던 영역이었습니다. 하지만 새로운 어텐션 메커니즘(Attention Mechanism)의 도입으로 연산 비용의 폭발적 증가 없이도 컨텍스트 윈도우를 100만 토큰으로 확장하는 것이 가능해졌습니다. 내부 테스트에서 M3는 스스로 기획하고, 디버깅하며, 장시간에 걸쳐 자가 교정을 수행하는 능력을 보여주었습니다.
폐쇄형 모델과 맞먹는 벤치마크 성능 확립된 소프트웨어 개발 벤치마크인 SWE-Bench Pro에서 미니맥스에 따르면 M3는 59%의 점수를 기록했습니다. 이는 GPT-5.5와 Gemini 3.1 Pro를 앞서는 수치지만, Opus 4.7에는 근소하게 뒤처지는 결과입니다. 또한 터미널 작업 및 도구 사용(Tool Use) 부문에서도 상용 모델급의 성능을 보여주었습니다. 특히 BrowseComp라는 자율 웹 검색 벤치마크에서 83.5점을 기록하며 79.3점을 기록한 Opus 4.7을 능가했습니다. (참고로 Anthropic은 이후 조금 더 개선된 Opus 4.8을 출시했습니다.)
실제 개발자의 워크플로우를 더 잘 반영하기 위해 미니맥스는 일반적인 개발 행동 패턴을 모방하는 시뮬레이터 프레임워크를 구축했습니다. 여기에는 요구 사항 구체화, 솔루션 논의, 중간 결과에 대한 대응 및 여러 컨텍스트에 걸친 작업 수행이 포함됩니다. 이를 통해 모델이 단순히 단일 프로ンプ트에만 반응하는 것이 아니라, 학습 과정부터 실제와 같은 멀티턴(Multi-turn) 협업 환경을 경험하도록 훈련했습니다.
장시간 자율성을 보여주는 세 가지 테스트 미니맥스는 이러한 기능들이 어떻게 결합되어 작동하는지 보여주기 위해 세 가지 내부 실험을 진행했습니다.
첫 번째 실험에서 팀은 M3가 독립적으로 LLM 파인튜닝(Fine-tuning)에 관한 논문을 재현하도록 했습니다. 모델은 개입 없이 거의 12시간 동안 작동하며 18번의 커밋(Commit)과 23개의 그림을 생성했고, 논문의 핵심 결과를 성공적으로 확인했습니다.
두 번째 테스트에서는 대형 모델 추론에서 가장 연산 집약적인 기본 요소 중 하나인 엔비디아 호퍼(Hopper) GPU의 행렬 곱셈용 컴퓨팅 커널을 최적화하도록 M3에 요청했습니다. 숙련된 팀조차 이 작업에 1~2주가 소요된다고 합니다. M3는 작업 설명, 벤치마크 스크립트, 참조할 해결책이 없는 작동하지 않는 코드 스켈레톤만 제공받았습니다. 약 24시간이 지난 후, 모델은 호퍼 하드웨어 활용도를 7.6%에서 71.3%로 끌어올렸습니다. 평가 대상이었던 다른 모델들은 수십 번의 시도만에 포기했지만, M3는 여러 정체기를 스스로 돌파하며 145번째 시도에서야 최적의 솔루션에 도달했습니다. FP8 커널 최적화 시 147번의 실행으로 호퍼 피크 성능의 71.3%에 도달하며 Opus 4.7을 제쳤습니다. (다만, Opus 4.7이 이를 달성하는 데 필요한 실행 횟수는 훨씬 적었습니다.)
세 번째 테스트인 PostTrainBench에서는 M3가 네 개의 기본 모델을 독립적으로 훈련하도록 지시받았습니다. 사람의 개입 없이 데이터를 합성하고, 훈련하며, 평가하고, 반복하는 작업을 수행했습니다. 이 테스트에서 M3는 Opus 4.7과 GPT-5.5 바로 뒤를 차지했지만, 나머지 테스트 모델들보다는 월등히 앞서는 성능을 보였습니다.
미니맥스에 따르면 M3는 처음부터 혼합 모달리티(Mixed Modalities)로 학습되었습니다. 텍스트와 이미지가 하나의 시퀀스 내에 교차로 배열된 이른바 '인터리브드 데이터(Interleaved Data)'가 당초 예상보다 훨씬 더 중요한 것으로 나타났습니다. 데이터 파이프라인을 전면 재설계하여 학습 과정을 거친 결과, 모델은 폐쇄형 최고 수준 모델들과 동등한 성능을 발휘할 수 있게 되었습니다. 현재 API를 통해 모델을 사용할 수 있으며, 모델 가중치(Weights)는 조만간 공개될 예정입니다.