BL
MarkTechPost • 50일 전
샤오미 MiMo, 상용 GPU로 1천억 매개변수 모델 1000토큰/초 돌파
IMP 7/10
핵심 요약
샤오미 MiMo 팀과 TileRT가 1천억 매개변수(1-Trillion-Parameter) 모델의 새로운 서빙 모드인 MiMo-V2.5-Pro-UltraSpeed를 공개했습니다. 이 모드는 단일 8-GPU 상용 노드만으로 초당 1,000개 이상의 토큰을 디코딩하는 놀라운 속도를 달성했습니다.
번역된 본문
샤오미의 MiMo 팀은 TileRT와의 협력을 통해 MiMo-V2.5-Pro 모델을 위한 새로운 서빙 모드인 'MiMo-V2.5-Pro-UltraSpeed'를 공개했습니다. 이 솔루션은 단일 8-GPU 상용 노드(Commodity GPU node)를 사용하여 1천억 매개변수(1-Trillion-Parameter) 모델 기준 초당 1,000개 이상의 토큰을 디코딩합니다.
해당 글 '샤오미 MiMo와 TileRT, 상용 GPU로 1천억 매개변수 모델의 초당 1000토큰 돌파'는 MarkTechPost에 처음 게재되었습니다.
원문 보기 (영어)
Xiaomi's MiMo team, with TileRT, released MiMo-V2.5-Pro-UltraSpeed, a serving mode for the MiMo-V2.5-Pro model. It decodes over 1000 tokens per second on a 1-trillion-parameter model using a single 8-GPU commodity node.
The post Xiaomi MiMo and TileRT Push a 1-Trillion-Parameter Model Past 1000 Tokens Per Second on Commodity GPUs appeared first on MarkTechPost.