BL
MarkTechPost • 6일 전
기가토큰(Gigatoken), 허깅페이스 대비 최대 989배 빠른 토크나이저 공개
IMP 7/10
핵심 요약
24.53GB/s라는 압도적인 속도로 텍스트를 처리하는 러스트(Rust) 기반 BPE 토크나이저 '기가토큰(Gigatoken)'이 공개되었습니다. 기존 멀티스레드를 지원함에도 불구하고 허깅페이스보다 최대 989배, 틱토큰(tiktoken)보다 681배 빠른 속도를 자랑하며, 이는 수작업으로 최적화된 SWAR 사전 토크나이저(pretokenizer)와 캐싱 기술 덕분입니다. AI 실무자들에게 대규모 데이터 전처리에 소요되는 시간을 혁신적으로 단축할 수 있는 핵심 오픈소스 도구로 의미가 큽니다.
번역된 본문
기가토큰(Gigatoken)은 기가바이트(GB) 단위로 초당 텍스트를 인코딩하는 MIT 라이선스 기반의 러스트(Rust) BPE 토크나이저입니다. 144코어 CPU인 AMD EPYC 9565 환경에서 GPT-2 토큰화 작업을 초당 24.53GB의 속도로 처리합니다. 이는 이미 멀티스레드 러스트로 작성된 기준선 대비해서도 허깅페이스(HuggingFace) 토크나이저보다 989배, 틱토큰(tiktoken)보다 681배 빠른 수치입니다. 이러한 성능 향상은 BPE 병합(merge) 루프 자체를 빠르게 만든 것이 아니라, 수작업으로 최적화된 SWAR 사전 토크나이저(pretokenizer)와 사전 토큰 캐싱(pretoken caching) 기술에서 비롯되었습니다.
허깅페이스 토크나이저보다 최대 989배 빠른 초당 24.53GB 속도의 러스트 BPE 토크나이저, 기가토큰(Gigatoken)을 만나보세요. (MarkTechPost 최초 게재)
원문 보기 (영어)
Gigatoken is an MIT-licensed Rust BPE tokenizer that encodes text at gigabytes per second. On a 144-core AMD EPYC 9565, it runs GPT-2 tokenization at 24.53 GB/s. That is 989x HuggingFace tokenizers and 681x tiktoken, against baselines already written in multithreaded Rust. The gains come from a hand-written SWAR pretokenizer and pretoken caching, not a faster BPE merge loop.
The post Meet Gigatoken: A Rust BPE Tokenizer that Encodes Text at 24.53 GB/s, up to 989x Faster than HuggingFace Tokenizers appeared first on MarkTechPost.