AI 탐지 스타트업 팬그램(Pangram)이 문장당 오류율을 획기적으로 낮춘 새로운 탐지 모델 'Pangram 4'를 공개했습니다. 이 모델은 인간이 작성한 텍스트를 AI가 쓴 것으로 오인하는 경우가 2만4000건당 1건에 불과하며, AI 글을 사람처럼 바꿔주는 '휴머나이저' 우회 공격에도 강한 내구성을 보입니다. 실무자들에게는 AI로 가벼운 윤문을 한 텍스트와 100% AI가 생성한 텍스트를 구분할 수 있다는 점에서 높은 활용도를 기대할 수 있습니다.
최신 연구에 따르면, Pangram, GPTZero 등 대표적인 AI 텍스트 탐지기들은 일반적인 AI 생성 문장은 거의 완벽하게 걸러내지만, 특정 작가의 문체를 의도적으로 모방해 생성한 텍스트는 탐지율이 크게 떨어집니다. 특히 논문 등 학술 글쓰기 분야에서는 최대 29%까지 AI 텍스트를 탐지하지 못하는 치명적인 취약점이 드러났습니다. 이는 교육 및 연구 기관에서 AI 탐지 도구를 맹신할 경우 심각한 무결성 문제를 초래할 수 있음을 시사합니다.
미국작가조합(Authors Guild)의 테스트에 따르면, Pangram과 Grammarly의 AI 탐지 도구는 사람이 작성한 글을 100% 정확히 구별했으나, Sidekicker와 ZeroGPT는 모든 글을 AI가 쓴 것으로 오탐지하는 치명적인 실패를 보였습니다. 완벽해 보이는 도구조차 내부 구조가 '블랙박스'이며 오탐지 발생 시 작가가 계약을 잃을 수 있으므로, 테스트 결과를 맹신해서는 안 된다는 경고가 중요합니다.