#효율적파인튜닝

단일 트랜스포머 계층, 전체 파라미터 RL 학습과 동일한 효과 입증

대형 언어 모델(LLM)의 강화학습(RL) 시 모델의 모든 파라미터를 업데이트하는 대신, 단일 트랜스포머 계층(레이어)만 학습해도 전체 학습 효과의 대부분을 달성하거나 능가할 수 있다는 연구 결과입니다. 수학적 추론 및 코딩 등 다양한 작업에서 실험한 결과, 학습 효과는 모델 중간 부분의 특정 계층에 집중되어 있는 것으로 나타났습니다. 이는 막대한 컴퓨팅 자원이 소모되는 기존의 전체 파라미터 강화학습 방식의 효율성을 크게 뒤집을 수 있는 중요한 발견입니다.