메뉴

#엔비디아 블랙웰

MP
MarkTechPost 35일 전
IMP 8

DFlash, 엔비디아 블랙웰서 최대 15배 처리량 향상

UC 샌디에이고(UC San Diego)가 개발한 DFlash는 기존 자기회귀(Autoregressive) 방식을 대체하는 가벼운 블록 디퓨전 모델(Block Diffusion Model)을 활용하여 토큰 블록을 병렬로 빠르게 생성(초안 작성)합니다. 이를 통해 정보 손실 없이 처리 속도를 대폭 높이며, 엔비디아 블랙웰(NVIDIA Blackwell) 환경에서는 최대 15배의 처리량(Throughput) 향상을 기록했습니다. vLLM, SGLang 등 주요 추론 프레임워크를 지원하여 AI 모델 실 서비스 배포 시 비용과 지연 시간을 줄이는 데 매우 유용한 기술입니다.

추측 해독 엔비디아 블랙웰 vLLM