최근 GPT-5.5 모델이 복잡한 코딩 작업을 수행할 때 추론 토큰(reasoning token)이 특정 수치(516, 1034, 1552)에서 기형적으로 끊기는 현상이 발견되었습니다. 이로 인해 모델의 깊은 사고가 제한되어 고난도 작업에서 정답률이 하락하는 성능 저하가 발생할 가능성이 제기되었습니다.
해커뉴스에 공유된 이 프로젝트는 AI 기업들이 모델 출시 후 은밀하게 가하는 성능 저하(너프)나 양자화로 인한 품질 변화를 시각적으로 추적합니다. LMSYS Arena의 ELO 데이터를 기반으로 각 사의 대표 모델 성능 변화 추이를 한눈에 파악할 수 있게 구성했습니다. 개발자와 실무자들에게 API 기준의 객관적인 모델 성능 평가 데이터를 제공해 실사용 시 참고할 수 있는 중요한 지표가 됩니다.
데이터나 파이프라인에 변경이 없는데도 AI 모델의 성능이 갑자기 저하되는 핵심 원인 중 하나는 바로 '토큰화(TOKENIZATION)' 과정에서 발생하는 미세한 차이입니다. 입력 텍스트의 공백, 줄바꿈, 구두점 등 사소한 서식 변화가 모델이 처리하는 토큰 ID(TOKEN ID)를 변경시켜 예기치 않은 결과를 초래할 수 있습니다. 따라서 실무자는 이러한 토크나이제이션 드리프트(TOKENIZATION DRIFT) 현상을 이해하고 토큰화 전처리 과정을 엄격하게 관리해야 모델의 안정성을 유지할 수 있습니다.