#DPO

1억 2,500만 파라미터 피아노 자동완성 온디바이스 모델 공개

한 개발자가 1억 2,500만 파라미터 트랜스포머를 학습시켜 피아노 연주를 실시간으로 자동완성하는 앱 'RollTab'을 무료 공개했습니다. iPhone 15에서 초당 약 108개의 노트를 생성하며, MIDI 표현 방식 최적화, 학습 데이터 정제, DPO 후속 학습이 성능 향상의 핵심이었다고 합니다. 온디바이스에서 실시간 음악 생성을 구현한 사례로 모바일 AI 응용에 참고할 만합니다.

DPO와 TRL·LoRA로 선호 편향 감사 및 언어모델 파인튜닝

이 튜토리얼은 Direct Preference Optimization(DPO)을 활용해 언어모델을 파인튜닝하는 전체 워크플로를 다룹니다. Anthropic HH-RLHF 데이터셋의 구조적·길이 기반 편향을 감사(audit)하고, TRL과 LoRA로 견고한 학습 파이프라인을 구현하며, 어휘적 지름길에 의존하지 않고 진짜 선호 학습이 이루어지는지 평가하는 방법을 소개합니다.

QLoRA와 DPO를 활용한 LFM2 미세조정 코딩 튜토리얼

이 튜토리얼은 구글 코랩 환경에서 QLoRA와 DPO 기법을 활용해 LFM2 모델을 미세조정하는 전체 과정을 코드 단계별로 설명합니다. TRL과 PEFT 라이브러리를 활용해 모델 성능을 최적화하고 어댑터를 병합하는 실무적인 방법을 제공합니다. 실제 구현에 관심이 있는 AI 개발자들에게 매우 유용한 실전 가이드입니다.