오픈소스 프로젝트 llama.cpp에 MTP(다중 토큰 예측) 적용 시 프롬프트 처리(PP) 속도를 크게 향상시키는 PR이 병합되었습니다. 기존에는 불필요한 로짓(logit) 복사로 인해 메모리 부하가 발생했으나, 이를 최적화하여 MTP 사용 시 발생하던 성능 저하를 절반 수준으로 줄였습니다.
오픈소스 AI 추론 라이브러리인 llama.cpp에 Multi-Token Prediction(MTP) 기능이 드디어 승인되었습니다. 이 업데이트가 적용되면 AI 모델이 한 번에 여러 토큰을 예측하게 되어 텍스트 생성 속도와 추론 효율성이 대폭 향상될 것으로 기대됩니다. 실무자들은 곧 있을 업데이트 적용을 위해 환경 준비를 서두르는 추세입니다.
구글 AI가 Gemma 4 모델 패밀리를 위해 다중 토큰 예측(MTP) 초안화기(Drafter)를 새롭게 공개했습니다. 이 도구는 추측적 디코딩(Speculative Decoding) 기술을 활용하여 모델의 품질 저하 없이 최대 3배 빠른 추론 속도를 달성합니다. 이는 실시간 애플리케이션이나 대규모 데이터 처리를 다루는 개발자들에게 AI 모델의 지연 시간을 획기적으로 줄여줄 매우 중요한 성능 개선입니다.
구글의 경량화 라이브러리를 이용해 Gemma 4 모델에서 Multi-Token Prediction(MTP) 초안 모델을 추출하는 방법을 공유하는 게시글입니다. 작성자는 C++ 소스 코드와 TFLite 그래프를 분석해 MTP 구조를 파악해야 한다며 커뮤니티에 리버스 엔지니어링을 요청했습니다.