BL
MarkTechPost • 31일 전
딥시크, DSpark 공개... 딥시크-V4 생성 속도 최대 85% 향상
IMP 8/10
핵심 요약
DeepSeek(딥시크)가 기존 DeepSeek-V4 모델의 텍스트 생성 속도를 사용자당 최대 85%까지 획기적으로 끌어올리는 추론 가속화 프레임워크 'DSpark'를 오픈소스로 공개했습니다. 이 기술은 가벼운 초안 생성 모듈을 결합하여 실시간 GPU 부하에 맞춰 검증할 토큰 수를 조절하는 방식으로, 모델의 성능 저하 없이(무손실) 서비스 처리량을 크게 개선할 수 있다는 점에서 AI 실무자들에게 매우 중요합니다.
번역된 본문
DeepSeek(딥시크)가 기존 DeepSeek-V4 가중치에 초안 생성 모듈(draft module)을 결합하는 추론 가속화 프레임워크인 'DSpark'를 오픈소스로 공개했습니다. 이 프레임워크는 병렬 초안 백본(backbone)과 가벼운 마르코프 헤드(Markov head)를 결합해 접미사 감쇄(suffix decay) 문제를 줄이며, 이어서 실시간 GPU 부하에 따라 검증할 토큰의 수를 동적으로 조절하는 신뢰도 기반 검증(confidence-scheduled verification) 기능을 추가했습니다.
오프라인 테스트 환경에서는 수용된 토큰 길이가 기존 DFlash 및 Eagle3 대비 1631% 증가했으며, 실제 프로덕션 환경에서는 MTP-1 베이스라인 대비 사용자당 생성 속도를 5785% 가속하며도 성능 저하 없는 무손실(lossless) 결과를 보여줍니다. 학습용 코드 저장소인 'DeepSpec'은 MIT 라이선스로 제공됩니다.
원문 보기 (영어)
DeepSeek open-sourced DSpark, a speculative decoding framework that attaches a draft module to existing DeepSeek-V4 weights. It pairs a parallel draft backbone with a lightweight Markov head to cut suffix decay, then adds confidence-scheduled verification that tailors how many tokens get checked to real-time GPU load. Offline, accepted length rises 16–31% over DFlash and Eagle3; in production it speeds per-user generation 57–85% over the MTP-1 baseline, losslessly. The training repo, DeepSpec, ships under MIT.
The post DeepSeek Releases DSpark, a Speculative Decoding Framework That Accelerates DeepSeek-V4 Per-User Generation 60–85% Over MTP-1 appeared first on MarkTechPost.
관련 소식