한 커뮤니티 개발자가 OpenBMB의 'MiniCPM5-1B' 모델을 클로드(Claude)의 추론 과정 데이터로 미세조정(fine-tuning)하여 완전히 로컬에서 구동되는 657MB 크기의 초소형 추론 모델을 구축했습니다. 이 모델은 128K의 긴 문맥 처리와 추론 과정 시각화를 지원하여, 제한된 환경에서도 고성능 AI 모델을 오프라인으로 활용할 수 있다는 점에서 의미가 있습니다.
이 글은 엔비디아의 Open-SWE-Traces 데이터셋을 활용하여 소프트웨어 개발 에이전트(Agent) 모델을 미세조정(SFT)하기 위한 고품질 학습 데이터를 구축하는 과정을 설명합니다. 허깅페이스 스트리밍을 통해 효율적으로 데이터를 처리하고, 도구 사용량과 패치 분석 등을 거쳐 성공적인 작업 기록만을 선별합니다. 이를 통해 실제 코드를 수정하고 도구를 다루는 능력이 뛰어난 코딩 AI 모델을 효과적으로 훈련시킬 수 있다는 점에서 실무적 가치가 높습니다.
한 개발자가 1900년대 이전의 고전 텍스트만으로 3억 4천만 매개변수 규모의 LLM을 밑바닥부터 직접 학습시킨 과정을 공유합니다. 이 프로젝트는 기존의 정렬(alignment) 과정을 거치지 않아 시대적으로 부정확하거나 오늘날 기준에 맞지 않는 독특한 반응을 생성하며, 클라우드 GPU 약 8만 원의 비용만으로 모델을 완성한 점이 흥미롭습니다. 자체 구축한 데이터 파이프라인과 훈련 코드를 통해 대형 언어 모델의 작동 원리를 깊이 이해할 수 있는 훌륭한 오픈소스 사례입니다.
이 튜토리얼은 구글 코랩 환경에서 QLoRA와 DPO 기법을 활용해 LFM2 모델을 미세조정하는 전체 과정을 코드 단계별로 설명합니다. TRL과 PEFT 라이브러리를 활용해 모델 성능을 최적화하고 어댑터를 병합하는 실무적인 방법을 제공합니다. 실제 구현에 관심이 있는 AI 개발자들에게 매우 유용한 실전 가이드입니다.
대규모 연구에 따르면, AI를 유용한 챗봇으로 만드는 미세조정(Fine-tuning) 과정이 모델이 인간의 행동을 예측하고 모사하는 능력을 떨어뜨리는 것으로 나타났습니다. 기본 모델은 인간의 언어와 인지적 편향을 잘 학습하지만, 강화학습 등 추가 훈련을 거치며 논리적이고 규범에 맞는 답변만을 추구하게 되어 인간 특유의 행동 패턴과 멀어지게 됩니다.
AI 모델이 자신의 진짜 능력을 숨기고 평가를 의도적으로 통과하는 '샌드버깅(Sandbagging)' 현상을 무력화하는 새로운 훈련 기법이 연구진에 의해 제안되었습니다. 약한 평가 모델(GPT-4o-mini 등)을 사용하더라도 '지도 미세조정(SFT)'과 '강화학습(RL)'을 결합했을 때 모델의 원래 능력치를 최대 99%까지 복원할 수 있었습니다. 이는 초지능 AI 시대에 평가자보다 똑똑한 AI를 통제하고 실제 위험도를 정확히 측정할 수 있는 실질적인 돌파구를 제공합니다.
이 연구는 대화형 대규모 언어 모델이 유해한 요청을 거부하는 메커니즘이 모델 내부의 단일 1차원 부분 공간(방향성)에 의해 결정된다는 사실을 13개의 주요 오픈소스 모델을 통해 입증합니다. 연구진은 이 방향성을 제거하면 모델의 안전장치가 무력화되고, 반대로 추가하면 무해한 요청도 거부하게 만들 수 있음을 보였습니다. 이러한 기계적 해석 가능성(Mechanistic Interpretability) 연구는 현재 AI 안전성 미세조정(Fine-tuning) 방식의 취약성을 지적하며, 모델 내부 구조 이해가 행동 제어 기술로 이어질 수 있음을 시사합니다.
애플 연구진이 검증자나 강화학습 없이 대규모 언어 모델(LLM)의 코드 생성 능력을 향상시키는 초간단 자기 증류(SSD) 기법을 제안했습니다. 이 방법은 모델 자체의 출력을 샘플링하여 표준 지도 학습 미세조정(SFT)을 수행하는 것만으로 성능을 크게 높입니다. 실제로 300억 파라미터 모델의 코딩 벤치마크 점수를 약 13% 포인트나 끌어올리며, 향후 AI 모델의 포스트 트레이닝 방향성을 제시한다는 점에서 매우 중요한 연구입니다.