BL
r/LocalLLaMA • 32일 전
미스트랄 미디움 모델 곧 공개
IMP 7/10
핵심 요약
미스트랄(Mistral)의 소형 모델 버전명이 'Mistral-Small-4-119B-2603'로 확인되었습니다. 곧 출시될 미스트랄 미디움 모델은 128B(1,280억) 개의 매개변수를 탑재할 것으로 예상됩니다. 이 모델이 완전 연결(Dense) 구조를 채택할지, 아니면 소형 모델보다 덜 희소한 MoE(Mixture of Experts) 구조를 적용할지가 업계의 주요 관심사입니다.
번역된 본문
흥미롭게도 미스트랄 스몰(Mistral Small)은 'Mistral-Small-4-119B-2603'이라는 명칭으로 작성되어 있습니다. 이들의 미디움 모델은 128B(1,280억) 개의 매개변수를 갖게 될 것입니다. 이는 밀집 모델(Dense model)이 되거나, 아니면 미스트랄 스몰보다는 덜 희소한 MoE(Mixture of Experts) 모델이 될 것입니다.
원문 보기 (영어)
Interestingly enough, Mistral Small is written as Mistral-Small-4-119B-2603. Their medium model will have 128B paramters. Either it will be a dense model, or a less sparse MoE than Mistral Small