HN
Hacker News • 11일 전
IMP 7
LLM 심판들이 만장일치해도 믿어야 할까?
LLM-as-a-judge 시스템에서 여러 심판 모델의 동의 표를 단순 다수결로 집계하면, 심판들이 같은 학습 계열이나 프롬프트를 공유하는 경우 상관된 오류로 인해 증거가 실제보다 과대평가됩니다. 본 연구는 Ising 모델을 활용해 심판 간 상관관계를 통계적으로 모델링하는 의존성 인식 라벨 집계 방법을 제안하며, 3개 과제에서 기존 가중 다수결 대비 9~14% 정확도 향상을 달성했습니다.
LLM 평가 LLM-as-a-judge Ising 모델