HN
Hacker News • 11일 전
LLM 심판들이 만장일치해도 믿어야 할까?
IMP 7/10
핵심 요약
LLM-as-a-judge 시스템에서 여러 심판 모델의 동의 표를 단순 다수결로 집계하면, 심판들이 같은 학습 계열이나 프롬프트를 공유하는 경우 상관된 오류로 인해 증거가 실제보다 과대평가됩니다. 본 연구는 Ising 모델을 활용해 심판 간 상관관계를 통계적으로 모델링하는 의존성 인식 라벨 집계 방법을 제안하며, 3개 과제에서 기존 가중 다수결 대비 9~14% 정확도 향상을 달성했습니다.
번역된 본문
대화형 AI: LLM 심판들이 동의할 때, 우리는 그들을 믿어야 하는가?
상호 상관된 출력을 보이는 LLM 심판들의 의견을 할인함으로써, 심판 패널이 진정한 관점의 다양성을 반영하도록 보장할 수 있다.
Krishna Balasubramanian, Sasha Podkopaev | 2026년 8월 26일 | 5분 읽기
핵심 요약:
- LLM 심판들 간의 상관된 출력을 고려하기 위해 Ising 모델을 활용한 의존성 인식(dependence-aware) 라벨 집계 방법을 소개한다. 심판들이 학습 계열, 프롬프트, 모델 패밀리를 공유할 때 동의 표 수가 실제보다 더 강한 증거처럼 보이는 문제를 해결한다.
- 심판 패널을 네트워크로 취급하여 개별 심판의 신뢰도와 함께 쌍별(pairwise) 의존성을 모델링함으로써, 사람의 참조 라벨 없이 비지도 설정에서 독립적인 증거와 공유된 실수를 구별할 수 있게 한다.
- 세 가지 과제(관련성 분류, 유해성 탐지, 요약 평가)에서 10인 심판 패널을 대상으로 가중 다수결 기준선 대비 9~14%의 정확도 향상을 입증했다.
- LLM-as-a-judge 파이프라인을 위한 실용적 지침을 제공한다: 패널의 다양성을 통계적으로 평가하고, 동의 군집화 패턴을 점검하며, 모든 표를 동등하게 취급하는 대신 심판 상관관계를 반영해 조정된 신뢰도를 보고하라.
검색 증강 생성(RAG) 시스템을 평가하는 상황을 상상해 보자. 사용자가 질문을 하면 시스템이 텍스트 구절을 검색하고, LLM 심판이 그것이 관련 있는지 판단한다. 노이즈를 줄이기 위해 여러 심판 모델에게 같은 구절을 평가하도록 요청한다. 여덟 모델은 '관련 있음', 두 모델은 '관련 없음'이라고 답한다. 10명 중 8명이라는 결과는 설득력 있게 느껴진다.
그러나 중요한 질문은 몇 명의 심판이 동의했는가만이 아니라, 그들이 얼마나 독립적으로 그 동의에 도달했는가이다. 동의한 여덟 명의 심판이 진정으로 서로 다른 증거 원천이라면 동의는 강력한 신호다. 하지만 그들이 같은 프롬프트 템플릿, 학습 계열, 모델 패밀리, 혹은 공통된 맹점을 공유한다면 같은 실수를 반복하고 있을 수 있다. 표 수가 증거를 실제보다 더 강하게 보이게 만드는 것이다.
Shiva Kasiviswanathan과 공동 저술하고 올해 국제 기계학습 회의(ICML)에서 발표된 우리의 논문 'Ising 모델을 통한 LLM-as-a-judge의 의존성 인식 라벨 집계'는 이 문제를 다룬다. 우리는 심판 출력 간의 상관관계를 평가하고 그에 따라 집계 점수를 조정하여 의견 다양성을 보장하는 방법을 제시한다. 세 가지 다른 과제에 대한 테스트에서 우리의 방법은 역사적 정확도에 따라 가중치를 부여한 심판 패널이라는 최고 성능의 기준선을 표준 지표에서 9%에서 14%까지 능가했다.
숨겨진 가정
다수결의 매력은 그 단순함에 있다. 모든 심판에게 한 표가 주어지고, 더 많은 표를 받은 답이 승리한다. 가중 다수결은 자연스러운 개선이다. 더 정확해 보이는 심판이 더 큰 영향력을 갖는다. 두 접근 방식 모두 유용한 기준선이다.
하지만 두 방식 모두 심판 패널에 대한 동일한 단순화된 관점에 기반한다: 잘못된 답을 내는 심판들은 그 오류를 독립적으로 범하는 것으로 취급된다. 이 가정은 LLM-as-a-judge 시스템에는 종종 지나치게 낙관적이다. 두 심판은 평가 기준을 비슷하게 해석하기 때문에 함께 실패할 수 있다. 여러 심판이 같은 예시로 프롬프트를 받아 동일한 평가 편향을 물려받을 수 있다. 관련된 모델들의 그룹은 같은 표현에 민감할 수 있다. 이런 경우 다수결이 보이는 것보다 정보량이 적을 수 있다.
심판 패널은 하나의 네트워크다
더 나은 집계기는 패널을 심판들의 네트워크로 취급할 것이다. 각 심판은 여전히 자신의 신뢰도 프로필을 갖지만, 심판 쌍들 사이에도 관계가 있을 수 있다. 일부 쌍은 공유된 실수를 포함하여 개별 신뢰도 프로필이 예측하는 것보다 더 자주 동의한다. 다른 쌍들은 더 상호 보완적인 관점을 제공한다.
우리는 이러한 관계를 Ising 모델로 모델링한다. Ising 모델은 이진 변수 간의 쌍별 의존성을 표현할 수 있는 통계 모델이다. LLM-as-a-judge 환경에서...
원문 보기 (영어)
Conversational AI When LLM judges agree, should we believe them? Discounting the opinions of LLM judges with highly correlated outputs ensures that panels of judges reflect a true diversity of perspectives. By Krishna Balasubramanian , Sasha Podkopaev August 26, 2026 5 min read Share Share Copy link Email X LinkedIn Facebook Line Reddit QZone Sina Weibo WeChat WhatsApp 分享到微信 x Key takeaways Introduces dependence-aware label aggregation using Ising models to account for correlated outputs among LLM judges, addressing the limitation that agreement counts appear stronger when judges share training lineage, prompts, or model families. Proposes treating judge panels as networks where pairwise dependencies are modeled alongside individual judge reliability, enabling distinction between independent evidence and shared mistakes in unsupervised settings without human reference labels. Demonstrates 9-14% accuracy improvements over weighted-majority-vote baselines across three tasks (relevance classification, toxicity detection, summarization assessment) with 10-judge panels. Provides practical guidance for LLM-as-a-judge pipelines: evaluate panel diversity statistically, inspect agreement clustering patterns, and report confidence adjusted for judge correlation rather than treating all votes equally. Was this answer helpful? Imagine evaluating a retrieval-augmented-generation system. A user asks a question, the system retrieves a text passage, and an LLM judge decides whether it’s relevant. To reduce noise, you ask several judge models to evaluate the same passage. Eight say “relevant”; two say “not relevant”. Eight out of 10 feels convincing. But the important question is not only how many judges agreed but how independently they arrived at that agreement. If the eight agreeing judges are genuinely different sources of evidence, then agreement is a strong signal. But if they share a prompt template, a training lineage, a model family, or a common blind spot, they may be repeating the same mistake. The vote count makes the evidence look stronger than it really is. Our paper “ Dependence-aware label aggregation for LLM-as-a-judge via Ising models ,” coauthored with Shiva Kasiviswanathan and presented at this year’s International Conference on Machine Learning ( ICML ), addresses this problem. We present a method for assessing the correlations between judges’ outputs and adjusting the aggregate score accordingly, to ensure a diversity of opinion. In tests on three different tasks, our method outperformed the best-performing baseline — a panel of judges weighted according to historical accuracy — by 9% to 14% on standard metrics. Hidden assumptions The attraction of majority vote is its simplicity. Every judge gets one vote, and the answer with more votes wins. Weighted majority vote is a natural improvement: judges that appear more accurate get more influence. Both approaches are useful baselines. But they are built around the same simplified view of the judge panel: judges that get the wrong answer are treated as though they make their errors independently. That assumption is often too optimistic for LLM-as-a-judge systems. Two judges may fail together because they interpret the rubric similarly. Several judges may be prompted with the same examples and therefore inherit the same evaluation bias. A group of related models may be sensitive to the same phrasing. In these cases, a majority can be less informative than it appears. A judge panel is a network A better aggregator would treat the panel as a network of judges. Each judge still has its own reliability profile, but pairs of judges can also have relationships. Some pairs agree more often than their individual reliability profiles would predict, including on shared mistakes. Other pairs provide more complementary perspectives. We model these relationships with an Ising model, a statistical model that can represent pairwise dependence between binary variables. In the LLM-as-a-judge context, the aggregator learns both judge skill and judge similarity. Our method is designed for the unsupervised setting: it learns from judge outputs without using human reference labels for training. It treats each item's true label as a latent variable to infer jointly with the parameters describing judge reliability and dependence. There are two useful levels of dependence modeling. In the first, the relationship pattern among judges is treated as roughly the same for positive and negative labels. The final decision still looks like a weighted vote, but the weights are adjusted for correlation. Redundant agreement can be discounted without making the prediction rule hard to interpret. The second variant — the class-dependent model — lets the relationship pattern change with the label. This is useful when the agreement structure carries class information — for example, when judges show broad agreement on clear-cut items but split into recognizable clusters on ambiguous ones. This approach is more expressive, but it requires more data to estimate the extra parameters reliably. Learning from evaluation logs Starting from an initial parameter setting, the algorithm combines each item's votes to estimate the probability that its true label is positive. These soft probabilities are the model's current best guesses, not external labels. It then alternates between updating those probabilities and re-estimating judge reliability and pairwise dependence from them. Reference labels are used only afterward to measure experimental accuracy. This approach is especially relevant for teams that already collect LLM-as-a-judge outputs at scale. Existing evaluation logs contain more than just votes; they contain patterns of agreement and disagreement. Dependence-aware aggregation turns those patterns into a usable signal. The same learned network can help answer practical questions. Are similar models adding independent evidence, or are they mostly reinforcing each other? Does one task produce broad agreement, while another produces cluster-specific splits? Is adding another judge likely to improve the evaluation or simply duplicate an existing source of bias? Evaluation We evaluated our approach on three binary tasks: relevance classification for retrieved information, toxicity classification, and summarization assessment. The judge panel contained 10 judge models, all run at temperature zero — meaning there’s no randomness in their outputs, so the same input will always elicit the same output. We compared the dependence-aware models with two conditional-independence baselines: weighted majority vote and uniform majority vote. Across the three tasks, modeling dependence improved accuracy once the system had enough evaluation items and enough judges to estimate meaningful relationships. Using all 10 judge models and the maximum available training data for each task, the strongest dependence-aware results were 0.912 accuracy on relevance, compared with 0.820 for weighted majority vote and 0.804 for uniform majority vote; 0.792 on toxicity, compared with 0.694 and 0.695; and 0.806 on summarization, compared with 0.737 and 0.561. Best practices For teams using LLM-as-a-judge pipelines, dependence-aware aggregation suggests a few useful habits. First, evaluate the judge panel, not just the individual judges. A set of individually strong judges can still be redundant if they fail in the same way. Second, treat model diversity as statistical diversity. Mixing model families or architectures is helpful only to the extent that it changes the error patterns that matter for the task. Third, inspect agreement structure. Strong clusters can reveal shared rubrics, shared model behavior, or task-specific ambiguity. That information is valuable even when the final label is unchanged. Finally, report uncertainty with dependence in mind. Ten correlated votes should not always produce the same confidence as 10 independent votes. When LLM judges agree, we shoul