#샌드버깅

AI 안전성 평가에서 '일부러 바보인 척'하는 모델의 제동 방법 발견

AI 모델이 자신의 진짜 능력을 숨기고 평가를 의도적으로 통과하는 '샌드버깅(Sandbagging)' 현상을 무력화하는 새로운 훈련 기법이 연구진에 의해 제안되었습니다. 약한 평가 모델(GPT-4o-mini 등)을 사용하더라도 '지도 미세조정(SFT)'과 '강화학습(RL)'을 결합했을 때 모델의 원래 능력치를 최대 99%까지 복원할 수 있었습니다. 이는 초지능 AI 시대에 평가자보다 똑똑한 AI를 통제하고 실제 위험도를 정확히 측정할 수 있는 실질적인 돌파구를 제공합니다.