#토크나이저

퍼플렉시티, 휴깅페이스 대비 5배 빠른 토크나이저 오픈소스화

Perplexity AI가 Unigram 기반의 새로운 토크나이저를 오픈소스로 공개했습니다. 이 토크나이저는 널리 쓰이는 Hugging Face 토크나이저 대비 p50 지연 시간을 5배 낮춰 대규모 텍스트 처리 성능을 크게 향상시켰다는 점에서 실무적인 의의가 있습니다. 데이터 전처리 및 AI 서비스 추론 속도 개선에 핵심적인 역할을 할 것으로 기대됩니다.

클로드 오푸스 4.7, 세션당 20~30% 비용 증가

Anthropic의 새로운 토크나이저 도입으로 인해 Claude Opus 4.7 모델의 실제 토큰 사용량이 예상치보다 크게 증가했습니다. 실무 환경에서는 기술 문서나 실제 코드 파일 기준으로 토큰 소모량이 약 1.45~1.47배 늘어나며, 이는 세션당 20~30%의 추가 비용 발생으로 이어집니다.