LLM(대형 언어 모델)에게 스스로의 답변에 대한 자신감 점수(0~100)를 요구하는 것은 실질적으로 아무런 의미가 없습니다. 현재 모델은 자신의 내부 상태를 정확히 평가할 수 있는 능력이 부족하며, 이는 단지 결과를 신뢰할 수 있다는 착각을 유발할 뿐입니다. AI 시스템을 구축하는 실무자들은 이러한 자가 평가 점수에 의존하는 대신, 보다 객관적인 검증 방식을 도입해야 합니다.
AI 스타트업 '프러버블리(Probably)'는 엄격한 검증 시스템을 통해 LLM의 환각을 방지하고 99.99%의 정확도를 달성하는 기술을 개발 중입니다. 이 회사는 '데이터 과학 메카 수트'라고 부르는 정교한 엔지니어링 시스템을 도입해, 최첨단 AI 모델보다 성능이 낮은 모델을 사용하면서도 로컬 하드웨어에서 빠르고 저렴하게 작동하는 데이터 분석 도구를 구축했습니다. 이를 통해 증가하는 토큰 비용을 획기적으로 줄이며, 향후 회계, 의료 등 오류가 용납되지 않는 정밀 산업군으로 확장할 계획입니다.
최신 벤치마크 테스트에 따르면 멀티모달 언어 모델은 시각적 정보가 누락되었을 때 사용자에게 도움을 요청하는 대신 환각(Hallucination)을 일으키거나 응답을 거부하는 것으로 나타났습니다. 연구진은 이를 해결하기 위해 모델이 정말로 필요할 때만 도움을 요청하도록 강화학습 기법(GRPO)을 적용했으며, 기존의 대형 모델들을 모두 능가하는 성과를 입증했습니다.