최근 온라인에서 확산된 미 상원의원 미치 맥코널의 병원 사진이 AI로 생성된 딥페이크로 판명되었습니다. 구글의 AI 워터마크 기술인 SynthID(신스ID)를 통해 해당 사진이 조작본임이 신속하게 밝혀졌습니다. 이는 주요 AI 기업들이 적극적으로 참여하는 워터마크 기술이 안티 딥페이크 기술로서 실질적인 성과를 거둔 중요한 사례입니다.
구글 검색의 지식 패널과 AI가 위키피디아의 잘못된 편집을 사실로 받아들여 발생한 사망 오보 사건을 통해, 복잡한 지식 시스템의 취약성을 분석합니다. 시스템이 정보를 단순 수집하는 것을 넘어, 출처를 검증하고 신뢰할 수 있는 지식으로 구축하는 과정이 얼마나 어려운지 보여줍니다. 이는 AI 기반 정보 검색 시스템을 설계하고 운영하는 실무자들이 반드시 고려해야 할 핵심 실패 모드(failure mode)입니다.
최근 뉴욕주 항소법원 영상에서 변호사가 생성형 AI가 만들어낸 존재하지 않는 허위 판례와 법 원칙을 소명 자료에 인용하여 판사들로부터 강도 높은 질책을 받는 현장이 포착되었습니다. 이는 법조계 전반에 AI 환각(Hallucination)으로 인한 허위 정보 유포 문제가 얼마나 심각한지를 보여주는 사례입니다. 이 사건은 AI를 업무에 활용하는 모든 전문가에게 정보의 사실관계 검증이 필수적임을 시사합니다.
해커뉴스에 공유된 연구에 따르면, 최신 프론티어 대형 언어 모델(LLM) 5개가 1,000개의 실제 팩트체크 주장 중 67%에서 서로 다른 결과를 내놓았습니다. 이는 현재의 첨단 AI 모델들조차 복잡한 실제 정보의 진위를 판별하는 데 있어 의견이 크게 엇갈린다는 치명적인 한계를 보여줍니다.
WIRED의 전문 팩트체커는 AI 검색 엔진과 챗봇이 제공하는 정보의 최대 절반이 틀릴 수 있다고 경고합니다. AI는 방대한 데이터를 분류하는 데 도움이 되지만, 여전히 환각(Hallucination) 현상을 일으키며 진실을 검증하는 과정에서 인간의 전문적 개입은 필수적입니다. 따라서 AI를 정보의 탐색 도구로 사용할 때는 그 정확성을 비판적으로 검토하는 자세가 요구됩니다.