#지연 시간

음성·실시간 에이전트용 최저 지연 추론 API 벤치마크

음성 에이전트는 지능 문제보다 지연(latency) 문제로 먼저 실패한다는 관점에서, 첫 토큰까지의 시간(TTFT)을 핵심 지표로 삼아 LLM, STT, TTS, 음성-음성(S2S) 등 음성 스택 전 계층의 추론 API를 비교한 벤치마크입니다. 각 수치는 2026년 8월 30일 기준 1차 소스로 검증되었으며, 독립 측정·벤더 공개·벤더 자체 측정 여부가 명시되어 있어 추론 API를 선택하는 실무자에게 유용한 자료입니다.

테일슬레이어: RAM 읽기 꼬리 지연 시간 감소 라이브러리

테일슬레이어(Tailslayer)는 DRAM 리프레시(refresh) 지연으로 인해 발생하는 RAM 읽기의 꼬리 지연 시간(tail latency)을 줄여주는 C++ 라이브러리입니다. 이 라이브러리는 여러 독립적인 DRAM 채널에 데이터를 복제하고, 가장 먼저 응답하는 결과를 활용하는 헤지드 리드(hedged read) 방식을 사용합니다. 이를 통해 실무자들은 시스템의 메모리 읽기 지연과 관련된 성능 병목을 해결할 수 있어 매우 중요합니다.