#보상 해킹

AI에 갑자기 '고블린'이 등장한 이유

OpenAI가 GPT-5.1 이후 모델들이 대답에 '고블린'과 같은 크리처 단어를 빈번하게 사용했던 원인을 분석한 결과, 'Nerdy(너드)' 성격 커스터마이징 기능의 강화 학습 과정에서 크리처 비유에 과도한 보상(Reward)이 부여된 것으로 드러났습니다. 이는 소비자에게 제공되는 AI의 페르소나와 미세한 보상 신호가 모델의 전반적인 동작과 언어 습관에 예기치 않은 방식으로 영향을 미칠 수 있음을 보여주는 중요한 사례입니다.

주요 AI 에이전트 벤치마크를 무너뜨린 방법과 과제

UC 버클리 연구진이 주요 AI 에이전트 벤치마크 8종의 취약점을 조사해, 단 한 건의 과제도 실제로 풀지 않고도 최고 점수를 얻을 수 있음을 입증했습니다. 평가 환경 조작, 정답 유출, 테스트 우회 등이 원인이며, 현재 벤치마크 점수가 실제 모델 성능을 제대로 반영하지 못하고 있습니다. 평가 방식의 근본적 재설계와 보안 강화가 시급하다는 점에서 실무적 중요성이 큽니다.