#전처리

기가토큰(Gigatoken), 허깅페이스 대비 최대 989배 빠른 토크나이저 공개

24.53GB/s라는 압도적인 속도로 텍스트를 처리하는 러스트(Rust) 기반 BPE 토크나이저 '기가토큰(Gigatoken)'이 공개되었습니다. 기존 멀티스레드를 지원함에도 불구하고 허깅페이스보다 최대 989배, 틱토큰(tiktoken)보다 681배 빠른 속도를 자랑하며, 이는 수작업으로 최적화된 SWAR 사전 토크나이저(pretokenizer)와 캐싱 기술 덕분입니다. AI 실무자들에게 대규모 데이터 전처리에 소요되는 시간을 혁신적으로 단축할 수 있는 핵심 오픈소스 도구로 의미가 큽니다.

퍼플렉시티, 휴깅페이스 대비 5배 빠른 토크나이저 오픈소스화

Perplexity AI가 Unigram 기반의 새로운 토크나이저를 오픈소스로 공개했습니다. 이 토크나이저는 널리 쓰이는 Hugging Face 토크나이저 대비 p50 지연 시간을 5배 낮춰 대규모 텍스트 처리 성능을 크게 향상시켰다는 점에서 실무적인 의의가 있습니다. 데이터 전처리 및 AI 서비스 추론 속도 개선에 핵심적인 역할을 할 것으로 기대됩니다.