HN
Hacker News • 48일 전
IMP 7
에이전트 과학을 위한 역 루브릭 최적화 테스트베드
본 연구는 장기 과제를 수행하는 AI 에이전트의 성능을 평가하기 위해 '역 루브릭 최적화(IRO)'라는 새로운 테스트베드를 제안합니다. IRO는 에이전트가 블랙박스 평가 모델의 선호도를 파악하고 최적화하는 과정을 통해, 제한된 자원 내에서 얼마나 효율적으로 탐색하고 개선하는지 분석합니다. 최신 AI 모델들이 제공된 자원을 최대한 활용하는 방식을 연구하는 데 중요한 기준점을 제공한다는 점에서 의미가 있습니다.
에이전트 연구 역 루브릭 최적화 테스트베드