BL
MarkTechPost • 10일 전
퍼플렉시티, 리서치 에이전트 평가용 WANDR 벤치마크 공개
IMP 6/10
핵심 요약
Perplexity AI는 다수의 결과를 탐색하고 이를 입증할 수 있는 AI 리서치 에이전트의 성능을 평가하기 위해 500개의 과제가 포함된 'WANDR' 벤치마크를 공개했습니다. 이 벤치마크는 AI가 단순히 답변을 생성하는 것을 넘어, 검증 가능한 출처를 바탕으로 폭넓고 깊이 있는 정보 탐색을 수행할 수 있는지를 정량적으로 측정합니다. 현재 Perplexity의 자체 모델이 이 벤치마크에서 가장 우수한 성능을 기록하며 리서치 에이전트 기술의 현재 한계와 방향성을 보여줍니다.
번역된 본문
Perplexity의 WANDR는 증거가 풍부하게 포함된 500개의 과제(task)로 구성된 개방형 벤치마크 및 평가 도구(harness)입니다. 이 도구는 연구 에이전트(research agents)가 다수의 조건에 부합하는 정보(entity)를 찾아내고, 각각에 대해 인용 가능하고 재검증할 수 있는 명확한 증거를 제시할 수 있는지를 테스트합니다. 현재 Perplexity의 코드 기반 검색 모델(Perplexity Search as Code)이 0.363의 Soft F1 점수와 0.133의 Hard F1 점수를 기록하며 선두를 달리고 있습니다.
'Perplexity AI Releases WANDR: An Open Benchmark Evaluating Research Agents That Must Search Wide And Deep'라는 제목의 이 게시물은 MarkTechPost를 통해 처음 공개되었습니다.
원문 보기 (영어)
Perplexity's WANDR is an open benchmark and evaluation harness with 500 evidence-heavy tasks. It tests whether research agents can discover many qualifying entities and back each one with cited, re-verifiable evidence. Perplexity Search as Code leads at 0.363 soft F1 and 0.133 hard F1.
The post Perplexity AI Releases WANDR: An Open Benchmark Evaluating Research Agents That Must Search Wide And Deep appeared first on MarkTechPost.