미국 법원에서 속기사가 생성형 AI를 사용해 재판 기록을 작성하다가 발언자를 엉뚱하게 배정하는 등 심각한 오류를 낸 사실이 판사에게 적발되었습니다. 이 사건은 법조인들의 AI 사용 문제를 넘어, 재판의 공식 기록 자체에 AI로 인한 치명적인 오류가 섞일 수 있다는 새로운 위험을 보여줍니다. AI가 업무 효율은 높일 수 있으나, 최종 결과물에 대한 전문가의 엄격한 교정 및 검토가 필수적이라는 교훈을 줍니다.
구글 검색의 지식 패널과 AI가 위키피디아의 잘못된 편집을 사실로 받아들여 발생한 사망 오보 사건을 통해, 복잡한 지식 시스템의 취약성을 분석합니다. 시스템이 정보를 단순 수집하는 것을 넘어, 출처를 검증하고 신뢰할 수 있는 지식으로 구축하는 과정이 얼마나 어려운지 보여줍니다. 이는 AI 기반 정보 검색 시스템을 설계하고 운영하는 실무자들이 반드시 고려해야 할 핵심 실패 모드(failure mode)입니다.
영국(잉글랜드 및 웨일스) 경찰에 대해 법정에 제출할 진술서 작성 시 인공지능(AI) 사용을 즉각 중단하라는 지시가 내려졌습니다. 이는 AI가 생성하는 허위 정보(Hallucination)와 변조 가능성으로 인해 사법 시스템의 신뢰성과 공정성에 심각한 타격을 줄 수 있기 때문입니다. 따라서 법률 및 공공 부문 실무자들은 AI 도입 시 정보의 진위 검증과 투명성 확보를 최우선으로 고려해야 합니다.
최근 한 대학의 졸업식에서 도입된 신형 AI 시스템이 수백 명의 졸업생 이름을 인식하지 못해 대규모 야유가 발생했습니다. 이는 인물이나 명단 인식 등 행사 현장에 도입된 AI의 한계와 오류 가능성을 여실히 보여준 사례입니다.