MP
MarkTechPost • 3일 전
IMP 7
퍼플렉시티, 휴깅페이스 대비 5배 빠른 토크나이저 오픈소스화
Perplexity AI가 Unigram 기반의 새로운 토크나이저를 오픈소스로 공개했습니다. 이 토크나이저는 널리 쓰이는 Hugging Face 토크나이저 대비 p50 지연 시간을 5배 낮춰 대규모 텍스트 처리 성능을 크게 향상시켰다는 점에서 실무적인 의의가 있습니다. 데이터 전처리 및 AI 서비스 추론 속도 개선에 핵심적인 역할을 할 것으로 기대됩니다.
오픈소스 퍼플렉시티 토크나이저