BL
MarkTechPost • 41일 전
오픈AI, 생명과학 AI 성능 평가 'LifeSciBench' 공개
IMP 8/10
핵심 요약
오픈AI는 박사급 전문가들이 작성한 750개의 실제 연구 과제를 통해 최첨단 AI의 생명과학 연구 수행 능력을 평가하는 'LifeSciBench'를 공개했습니다. 이 벤치마크는 단순한 정보 암기가 아닌 실제 연구 과정에서의 추론 및 의사결정 능력을 평가하며, 현재 가장 성능이 뛰어난 모델조차 통과율이 36.1%에 그쳐 AI의 생명과학 분야 발전 가능성과 한계를 명확히 보여줍니다.
번역된 본문
오픈AI의 LifeSciBench는 750개의 전문가 제작 과제, 7개의 워크플로우, 그리고 7개의 생물학 분야에 걸쳐 최첨단 AI가 실제 생명과학 연구를 수행할 수 있는지 평가합니다. 173명의 박사급 과학자들이 19,020개의 채점 기준(rubric)을 바탕으로 구축한 이 벤치마크는 단순한 정보 암기력이 아닌 추론 및 의사결정 능력을 평가합니다. 현재 가장 우수한 모델인 GPT-Rosalind는 36.1%의 통과율을 기록했으며, 이는 산출물 생성, 정확한 결과 도출, 실무적 운영 요구 사항에서 AI가 크게 개선해야 할 여지가 남아있음을 시사합니다.
오픈AI가 750개의 과제를 통해 전문가가 작성한 채점 기준으로 실제 생명과학 연구를 바탕으로 AI 모델을 평가하는 LifeSciBench를 공개했다는 이 기사는 MarkTechPost에 처음 게재되었습니다.
원문 보기 (영어)
OpenAI's LifeSciBench evaluates whether frontier AI can handle real life-science research across 750 expert-authored tasks, seven workflows, and seven biological domains. Built by 173 PhD scientists with 19,020 rubric criteria, it grades reasoning and decisions, not just recall. The best model, GPT-Rosalind, passes 36.1%, leaving large headroom on artifacts, exact outputs, and operational calls.
The post OpenAI Releases LifeSciBench, a 750-Task Benchmark Grading AI Models on Real Life-Science Research With Expert-Written Rubric appeared first on MarkTechPost.