#모델 안정성

토크나이제이션 드리프트와 해결 방법

데이터나 파이프라인에 변경이 없는데도 AI 모델의 성능이 갑자기 저하되는 핵심 원인 중 하나는 바로 '토큰화(TOKENIZATION)' 과정에서 발생하는 미세한 차이입니다. 입력 텍스트의 공백, 줄바꿈, 구두점 등 사소한 서식 변화가 모델이 처리하는 토큰 ID(TOKEN ID)를 변경시켜 예기치 않은 결과를 초래할 수 있습니다. 따라서 실무자는 이러한 토크나이제이션 드리프트(TOKENIZATION DRIFT) 현상을 이해하고 토큰화 전처리 과정을 엄격하게 관리해야 모델의 안정성을 유지할 수 있습니다.