한 개발자가 Gemini 3.1 Pro로 Reddit 요리칼 댓글 4,290개에 개체명(NER) 레이블을 한 번만 붙여 오픈소스 모델 GLiNER를 파인튜닝한 뒤, 이후 처리는 자체 GPU로 무료화했습니다. 결과적으로 9달러의 레이블 비용과 약 2.5달러의 GPU 비용으로 0.83 F1을 달성해 진행 중인 API 비용을 사실상 제거했습니다. 거대 모델의 출력을 증류(distillation)해 소형 모델로 대체하는 실용적이고 저렴한 접근법의 좋은 사례입니다.
보안 연구진이 OpenAI, Anthropic, Google 등 주요 AI 모델의 암호화된 내부 사고 과정(reasoning)을 추출해 낼 수 있는 취약점을 발견했습니다. 이를 통해 작은 AI 모델을 탈옥시켜 강력한 모델의 원시 사고 과정을 그대로 읽어내고, 공개된 세션에서 비밀번호와 API 키 같은 민감한 정보를 유출할 수 있음이 밝혀졌습니다. 이는 모델 지식 증류(distillation) 및 지적 재산권 침해에 악용될 수 있어 산업계에 큰 보안 경고를 주는 사안입니다.
최근 컴퓨터 과학자들이 최첨단 AI 모델이 문제를 해결하는 과정에서 숨겨두는 '사고 과정(Chain of Thought)'을 추출하는 새로운 기법을 발견했습니다. 연구진은 이 방법을 통해 숨겨진 추론 과정뿐만 아니라 API 키나 비밀번호 같은 민감한 개인정보를 가로챌 수 있음을 증명했습니다. 더불어 일부 중국 AI 모델(미니백 K3 등)의 사고 패턴이 미국 최상위 모델들과 기묘할 정도로 유사하여 '지식 증류(Distillation)'를 통해 복제했을 가능성이 있다는 정황도 제시했습니다.
미국 백악관은 중국의 문샷(Moonshot)이 수출 통제를 받는 칩을 사용하고 미국 기업 앤스로픽(Anthropic)의 모델을 불법적으로 증류(Distillation)하여 오픈소스 모델인 Kimi K3를 만들었다고 비난했습니다. 하지만 AI 전문가들은 Fable 모델이 공개된 지 얼마 되지 않았으며, Kimi K3의 압도적인 성능은 단순한 데이터 증류나 지도 미세조정(SFT)만으로는 불가능하다고 반박했습니다. 대규모 강화학습(RL)과 자체적인 고도화된 훈련이 있었을 것으로 분석하며, 증류 기법의 한계와 최근 중국 모델들의 실제 기술력을 보여주는 사례로 주목받고 있습니다.
미국의 AI 기업 앤스로픽(Anthropic)이 중국 기업의 '클로드 코드(Claude Code)' 접근을 차단하려 하지만, 중국 기업들은 클라우드와 VPN 등을 통해 우회 이용 중입니다. 그 와중에 알리바바(Alibaba)는 직원들에게 클로드 코드 사용을 금지하고 모델 삭제를 지시했는데, 이는 클로드 내 숨겨진 코드가 중국 사용자를 식별할 수 있다는 우려 때문입니다. 이는 앤스로픽이 중국 기업들의 지식 증류(distillation) 행위를 막으려는 조치와 맞물려 양국 간 AI 기술 보호 및 보안 경쟁이 심화되고 있음을 보여줍니다.
엔비디아가 서로 다른 토크나이저를 사용하는 언어 모델 간의 지식 증류(KD) 효율을 극대화하는 'X-Token' 기술을 소개했습니다. 이 기술은 기존 방식인 GOLD의 구조적 한계를 극복하여 Llama-3.2-1B 모델 평가에서 평균 3.82포인트 높은 성능을 기록했습니다. 특히 수학 추론 벤치마크인 GSM8k에서 정확도를 2.56에서 15.54로 약 6배 이상 획기적으로 끌어올렸습니다.