#오탐지

애플 아이메시지, 강아지 영상을 음란물로 오탐지

애플의 아이메시지 민감한 내용 감지 기능이 강아지나 사슴 사진을 음란물로 오탐지하는 사례가 잇따라 발생하고 있습니다. 이는 기기 내부에서 작동하는 기계 학습 모델의 한계를 보여주는 사례입니다. 메시지 내용 스캔 기술이 지니는 오작동 가능성을 확인할 수 있다는 점에서 중요합니다.

디스코드 AI 모더레이션 오류로 무고한 사용자 8천 명 제재

디스코드의 AI 모더레이션 시스템 버그로 인해 스프레드시트, 바둑판, 게임 텍스처 등 무해한 격자무늬 이미지가 유해 물질로 오탐지되어 최소 8천 명 이상의 사용자가 부당하게 계정 정지를 당했습니다. 이는 AI 기반 자동화 모더레이션 시스템이 가진 한계와 오탐지(False positive) 문제가 실제 사용자에게 얼마나 치명적인 피해를 줄 수 있는지 보여주는 대표적인 사례입니다.

AI 탐지기 성능 편차 심화: 완벽 탐지 vs 전량 오탐

미국작가조합(Authors Guild)의 테스트에 따르면, Pangram과 Grammarly의 AI 탐지 도구는 사람이 작성한 글을 100% 정확히 구별했으나, Sidekicker와 ZeroGPT는 모든 글을 AI가 쓴 것으로 오탐지하는 치명적인 실패를 보였습니다. 완벽해 보이는 도구조차 내부 구조가 '블랙박스'이며 오탐지 발생 시 작가가 계약을 잃을 수 있으므로, 테스트 결과를 맹신해서는 안 된다는 경고가 중요합니다.