24.53GB/s라는 압도적인 속도로 텍스트를 처리하는 러스트(Rust) 기반 BPE 토크나이저 '기가토큰(Gigatoken)'이 공개되었습니다. 기존 멀티스레드를 지원함에도 불구하고 허깅페이스보다 최대 989배, 틱토큰(tiktoken)보다 681배 빠른 속도를 자랑하며, 이는 수작업으로 최적화된 SWAR 사전 토크나이저(pretokenizer)와 캐싱 기술 덕분입니다. AI 실무자들에게 대규모 데이터 전처리에 소요되는 시간을 혁신적으로 단축할 수 있는 핵심 오픈소스 도구로 의미가 큽니다.
최대 1000배 빠른 속도를 자랑하는 새로운 언어 모델 토크나이저인 '기가토큰(GigaToken)'이 공개되었습니다. 이 도구는 기존 허깅페이스(HuggingFace) 토크나이저의 코드를 거의 수정하지 않고도 완벽하게 호환되며, 초당 기가바이트(GB/s) 단위의 텍스트 데이터 처리를 가능하게 합니다. 대규모 언어 모델(LLM) 학습을 위한 방대한 데이터 전처리 시간을 혁신적으로 단축시킬 수 있어 AI 개발 실무자들에게 매우 유용한 솔루션입니다.
AI 코딩 에이전트 개발 시, 단순히 백만 토큰당 가격만 비교하면 실제 청구 비용을 왜곡될 수 있습니다. 같은 코드라도 모델마다 텍스트를 자르는 토크나이저가 다르기 때문입니다. 특히 주력 언어인 타입스크립트 환경에서는 최신 클로드 모델이 기존이나 GPT보다 최대 73% 더 많은 토큰을 소모하여 예상치 못한 높은 비용이 청구될 수 있습니다.
Perplexity AI가 Unigram 기반의 새로운 토크나이저를 오픈소스로 공개했습니다. 이 토크나이저는 널리 쓰이는 Hugging Face 토크나이저 대비 p50 지연 시간을 5배 낮춰 대규모 텍스트 처리 성능을 크게 향상시켰다는 점에서 실무적인 의의가 있습니다. 데이터 전처리 및 AI 서비스 추론 속도 개선에 핵심적인 역할을 할 것으로 기대됩니다.
Anthropic의 새로운 토크나이저 도입으로 인해 Claude Opus 4.7 모델의 실제 토큰 사용량이 예상치보다 크게 증가했습니다. 실무 환경에서는 기술 문서나 실제 코드 파일 기준으로 토큰 소모량이 약 1.45~1.47배 늘어나며, 이는 세션당 20~30%의 추가 비용 발생으로 이어집니다.