중국의 AI 스타트업 미니맥스(MiniMax)는 올해 하반기에 2.7조 개의 매개변수(parameters)를 갖춘 대규모 언어 모델(M3 Pro)을 오픈소스로 공개할 계획입니다. 이는 복잡한 추론 능력이 필요한 작업의 성능을 높이기 위한 것으로, 현재 중국 시장에서 가장 큰 규모의 AI 모델이 될 전망입니다.
중국의 주요 플랫폼 메이퇀(Meituan)이 토큰당 약 480억 개의 매개변수를 사용하는 1.6조 매개변수 규모의 오픈소스 혼합 전문가(MoE) 모델인 LongCat-2.0을 발표했습니다. 이 모델은 희소 어텐션 기법을 통해 최대 100만 토큰의 긴 문맥을 처리할 수 있으며, 전 과정이 자체 AI 반도체 인프라에서 구동된다는 점에서 기술적 주목을 받고 있습니다.
전직 OpenAI 직원들이 개발한 웹사이트 '인 더 웨이츠'는 대규모 언어 모델(LLM)의 가중치(weights)에 특정 인물의 정보가 얼마나 학습되어 있는지를 수치화하여 보여줍니다. 이는 모델이 외부 검색 도움 없이도 해당 인물을 얼마나 잘 아는지를 파악할 수 있게 해주며, 작은 모델일수록 등장하기 어렵다는 특징이 있습니다. AI 모델의 지식 보유 범위와 데이터 기억력을 직관적으로 확인할 수 있다는 점에서 의미가 있습니다.
중국의 AI 연구소인 즈푸 AI(Zhipu AI)가 100만 토큰의 긴 문맥을 안정적으로 처리하는 오픈소스 모델 'GLM-5.2'를 MIT 라이선스로 공개했습니다. 이 모델은 수십 시간이 걸리는 장기 코딩 및 에이전트 작업에서 앤스로픽(Anthropic)의 오푸스(Opus) 모델에 단 몇 포인트 차이로 근접하며 기존 오픈소스 모델들을 압도하는 성능을 입증했습니다. 특히 'IndexShare'라는 새로운 아키텍처를 도입해 긴 문맥 처리 시 발생하는 막대한 연산 비용과 자원 소모를 크게 줄인 것이 핵심 기술적 변화로 평가받습니다.