#LoRA

DPO와 TRL·LoRA로 선호 편향 감사 및 언어모델 파인튜닝

이 튜토리얼은 Direct Preference Optimization(DPO)을 활용해 언어모델을 파인튜닝하는 전체 워크플로를 다룹니다. Anthropic HH-RLHF 데이터셋의 구조적·길이 기반 편향을 감사(audit)하고, TRL과 LoRA로 견고한 학습 파이프라인을 구현하며, 어휘적 지름길에 의존하지 않고 진짜 선호 학습이 이루어지는지 평가하는 방법을 소개합니다.