Cerebras의 공개 API 엔드포인트에서 Qwen 3.8 27B 모델을 초당 약 1500토큰의 속도로 사용할 수 있게 되었습니다. 무료 체험 및 종량제 요금제에서 이용 가능하며, 컨텍스트는 무료 64k/유료 128k입니다. Cerebras는 가지치기(Pruning) 없이 원본 모델을 제공하며, 저장 시에만 선택적 양자화를 사용해 품질을 보존한다고 강조했습니다.
Gemma 팀이 기존 자기회귀(AR) 모델을 디퓨전 방식으로 파인튜닝한 실험적 오픈 웨이트 언어 모델 'DiffusionGemma'를 공개했습니다. 이 모델은 256 토큰 블록을 병렬로 반복 정제하여 H100 GPU 한 장에서 초당 약 1,500 토큰을 생성하며, 최첨단 추측 디코딩을 적용한 AR 모델보다도 훨씬 빠릅니다. 원본 AR 모델 학습 토큰 예산의 10% 미만으로 학습되었으며, AR 생성 능력도 유지해 하이브리드 디퓨전-AR 디코딩의 가능성을 보여줍니다.
AI 반도체 기업 세레브라스(Cerebras)가 1조 개 파라미터 규모의 초거대 언어 모델인 Kimi K2를 자사 시스템에서 초당 1,000 토큰이라는 압도적인 속도로 실행할 수 있음을 발표했습니다. 이는 기존 GPU 기반 인프라에서 대규모 모델을 구동할 때 겪었던 병목 현상과 속도 제한을 혁신적으로 해결한 사례로, 엔터프라이즈 환경에서 실시간 AI 서비스 도입의 현실성을 크게 높였다는 점에서 업계에 큰 의미를 줍니다.
구글이 공개형 AI 모델인 Gemma 4에 '멀티 토큰 예측(MTP)' 초안 생성기를 도입해 텍스트 생성 속도를 최대 3배까지 높였습니다. 이 기술은 메인 모델이 데이터를 불러오며 대기하는 시간 동안 소형 보조 모델이 여러 토큰을 미리 제안하고 메인 모델이 이를 한 번에 검증하는 방식으로 작동합니다. 품질 저하 없이 스마트폰, 로컬 PC, 클라우드 환경 모두에서 빠른 처리가 가능하며, 소스코드는 Apache 2.0 라이선스로 공개되었습니다.