#TTS(음성합성)

텍스트-음성 변환 모델을 50ms 미만 응답으로 만든 방법

Qwen3-TTS 1.7B CustomVoice를 단일 NVIDIA H100에서 서빙하여 초당 10건의 요청(RPS)을 처리하면서도 p95 첫 오디오 지연시간(TTFA) 50ms 미만을 달성한 오픈소스 구현을 소개한 글이다. 선행 무음 제거와 코덱 프레임 누적 튜닝을 통해 기존 vLLM-Omni, SGLang-Omni, VoxServe 등 대비 가장 낮은 지연시간을 확보했으며, 비용도 백만 자당 약 2달러로 ElevenLabs(100달러)나 Cartesia(49달러)보다 훨씬 저렴하다.