MP
MarkTechPost • 23일 전
IMP 7
메이퇀, 1.6T 매개변수 MoE 'LongCat-2.0' 공개
중국의 주요 플랫폼 메이퇀(Meituan)이 토큰당 약 480억 개의 매개변수를 사용하는 1.6조 매개변수 규모의 오픈소스 혼합 전문가(MoE) 모델인 LongCat-2.0을 발표했습니다. 이 모델은 희소 어텐션 기법을 통해 최대 100만 토큰의 긴 문맥을 처리할 수 있으며, 전 과정이 자체 AI 반도체 인프라에서 구동된다는 점에서 기술적 주목을 받고 있습니다.
대규모언어모델 혼합전문가 오픈소스