MP
MarkTechPost • 1일 전
IMP 7
엔비디아, GOLD 모델 대폭 능가하는 새 지식 증류 기술 공개
엔비디아가 서로 다른 토크나이저를 사용하는 언어 모델 간의 지식 증류(KD) 효율을 극대화하는 'X-Token' 기술을 소개했습니다. 이 기술은 기존 방식인 GOLD의 구조적 한계를 극복하여 Llama-3.2-1B 모델 평가에서 평균 3.82포인트 높은 성능을 기록했습니다. 특히 수학 추론 벤치마크인 GSM8k에서 정확도를 2.56에서 15.54로 약 6배 이상 획기적으로 끌어올렸습니다.
엔비디아 지식 증류 대형 언어 모델