#지식 증류

전문가들 "Kimi K3의 성능, 단순 기술 도용 때문은 아냐"

미국 백악관은 중국의 문샷(Moonshot)이 수출 통제를 받는 칩을 사용하고 미국 기업 앤스로픽(Anthropic)의 모델을 불법적으로 증류(Distillation)하여 오픈소스 모델인 Kimi K3를 만들었다고 비난했습니다. 하지만 AI 전문가들은 Fable 모델이 공개된 지 얼마 되지 않았으며, Kimi K3의 압도적인 성능은 단순한 데이터 증류나 지도 미세조정(SFT)만으로는 불가능하다고 반박했습니다. 대규모 강화학습(RL)과 자체적인 고도화된 훈련이 있었을 것으로 분석하며, 증류 기법의 한계와 최근 중국 모델들의 실제 기술력을 보여주는 사례로 주목받고 있습니다.

양안(兩岸) 모두 사용을 막는 클로드 코드의 복잡한 딜레마

미국의 AI 기업 앤스로픽(Anthropic)이 중국 기업의 '클로드 코드(Claude Code)' 접근을 차단하려 하지만, 중국 기업들은 클라우드와 VPN 등을 통해 우회 이용 중입니다. 그 와중에 알리바바(Alibaba)는 직원들에게 클로드 코드 사용을 금지하고 모델 삭제를 지시했는데, 이는 클로드 내 숨겨진 코드가 중국 사용자를 식별할 수 있다는 우려 때문입니다. 이는 앤스로픽이 중국 기업들의 지식 증류(distillation) 행위를 막으려는 조치와 맞물려 양국 간 AI 기술 보호 및 보안 경쟁이 심화되고 있음을 보여줍니다.

엔비디아, GOLD 모델 대폭 능가하는 새 지식 증류 기술 공개

엔비디아가 서로 다른 토크나이저를 사용하는 언어 모델 간의 지식 증류(KD) 효율을 극대화하는 'X-Token' 기술을 소개했습니다. 이 기술은 기존 방식인 GOLD의 구조적 한계를 극복하여 Llama-3.2-1B 모델 평가에서 평균 3.82포인트 높은 성능을 기록했습니다. 특히 수학 추론 벤치마크인 GSM8k에서 정확도를 2.56에서 15.54로 약 6배 이상 획기적으로 끌어올렸습니다.