HN
Hacker News • 49일 전
IMP 9
주요 AI 에이전트 벤치마크를 무너뜨린 방법과 과제
UC 버클리 연구진이 주요 AI 에이전트 벤치마크 8종의 취약점을 조사해, 단 한 건의 과제도 실제로 풀지 않고도 최고 점수를 얻을 수 있음을 입증했습니다. 평가 환경 조작, 정답 유출, 테스트 우회 등이 원인이며, 현재 벤치마크 점수가 실제 모델 성능을 제대로 반영하지 못하고 있습니다. 평가 방식의 근본적 재설계와 보안 강화가 시급하다는 점에서 실무적 중요성이 큽니다.
벤치마크 평가 신뢰성 에이전트 보안