The Decoder • 10일 전

AI 글 탐지기, '특정 작가 문체 모방' 앞에서 무력화된다

IMP

8/10

핵심 요약

최신 연구에 따르면, Pangram, GPTZero 등 대표적인 AI 텍스트 탐지기들은 일반적인 AI 생성 문장은 거의 완벽하게 걸러내지만, 특정 작가의 문체를 의도적으로 모방해 생성한 텍스트는 탐지율이 크게 떨어집니다. 특히 논문 등 학술 글쓰기 분야에서는 최대 29%까지 AI 텍스트를 탐지하지 못하는 치명적인 취약점이 드러났습니다. 이는 교육 및 연구 기관에서 AI 탐지 도구를 맹신할 경우 심각한 무결성 문제를 초래할 수 있음을 시사합니다.

번역된 본문

AI 텍스트 탐지기, 언어 모델이 작가의 문체를 모방할 때 고전하다

Matthias Bastian이 작성함 | THE DECODER

핵심 요약:

Epoch AI 연구팀에 따르면, Pangram, GPTZero, Originality.ai와 같은 대중적인 AI 텍스트 탐지기는 일반적인 조건에서는 거의 완벽한 정확도로 AI가 생성한 텍스트를 식별할 수 있습니다.
하지만 AI 모델에게 텍스트 샘플을 주며 특정 작가의 글쓰기 스타일을 모방하도록 프롬프트를 입력하면 탐지기의 성능이 급격히 떨어지며, 평균적으로 13%의 생성된 텍스트가 탐지되지 않고 빠져나갑니다.
학술 및 논문 작성 분야는 가장 큰 취약점을 보였습니다. 이 분야에서는 문체 모방 AI 콘텐츠의 24%에서 29%를 탐지기가 잡아내지 못해, 교육 환경에서 이러한 도구들의 신뢰성에 대한 우려를 낳고 있습니다.

대중적인 AI 텍스트 탐지기들은 일반적인 AI 생성 텍스트를 거의 완벽하게 잡아냅니다. 하지만 언어 모델이 특정 작가의 글쓰기 스타일을 의도적으로 복사할 경우, 최대 5개 중 1개꼴로 AI 텍스트가 탐지되지 않고 통과합니다. 특히 과학 및 학술 글쓰기 분야에서 탐지기들의 오류율이 가장 높게 나타났습니다.

Epoch AI 연구팀은 가장 널리 사용되는 세 가지 AI 텍스트 탐지기를 테스트했습니다. Pangram(버전 3.3.2), GPTZero(모델 2026-05-11-base), 그리고 Originality.ai(Turbo 3.0.2)입니다. 이 테스트는 세 가지 카테고리를 다루었습니다. 진짜 사람이 쓴 글, 단순한 프롬프트로 생성된 AI 텍스트, 그리고 특정 작가의 문체를 의도적으로 모방한 AI 텍스트입니다.

연구팀은 블로그, 소설, 학술 글쓰기 세 분야에 걸쳐 99명의 작가가 쓴 495개의 인간 작문 텍스트 말뭉치를 구축했습니다. 사용된 모든 텍스트는 2022년 11일 챗GPT(ChatGPT)가 출시되기 전에 작성된 것으로, 사실상 언어 모델에 의한 데이터 오염 가능성을 배제했습니다.

단순 AI 텍스트는 거의 완벽하게 탐지

일반적인 방식으로 생성된 AI 텍스트를 다룰 때는 세 탐지기 모두 거의 흠잡을 데 없이 완벽하게 작동했으며, 위음성(False-negative, AI가 쓴 글을 사람이 쓴 것으로 잘못 판단하는 비율) 비율은 최대 0.7%에 불과했습니다. 인간이 작성한 텍스트 역시 대부분 올바르게 분류되었습니다. Pangram과 GPTZero는 단 한 건의 오탐지도 발생시키지 않았습니다. 그러나 Originality.ai는 495개의 사람 작성 텍스트 중 19개를 AI가 생성한 것으로 잘못 판단하여, 3.8%라는 다소 우려스러운 위양성(False-positive) 비율을 기록했습니다.

문체 모방 시 탐지율 급락

하지만 언어 모델이 참고 자료로 특정 작가의 글쓰기 샘플을 제공받으면 결과가 완전히 달라집니다. 이 테스트를 위해 세 최신 모델(Claude Opus 4.8, GPT-5.5, Gemini 3.1 Pro)은 각각 작가의 실제 텍스트 5개를 제공받고, 동일한 스타일로 새로운 텍스트를 작성하라는 지시를 받았습니다.

Epoch AI에 따르면, 이런 방식으로 생성된 297개의 텍스트 중 평균 38개가 탐지되지 않고 넘어갔으며, 이는 약 13%의 위음성 비율을 의미합니다. Pangram은 문체 모방 텍스트의 10%, GPTZero는 11%, Originality.ai는 18%를 놓쳤습니다.

소설 분야의 경우 모든 탐지기의 위음성 비율은 1~5%에 불과했습니다. 그러나 학술 글쓰기에서는 전혀 다른 양상을 보였습니다. Pangram은 문체 모방 학술 AI 텍스트의 25%를 잡아내지 못했으며, GPTZero는 24%, Originality.ai는 29%를 탐지하지 못했습니다.

가장 심각한 개별 결과는 학술 글쓰기 내의 특정 'AI 모델-장르' 조합에서 나타났습니다. 공개된 데이터에 따르면 Pangram은 Gemini가 생성한 학술 텍스트의 48%를 놓쳤습니다. Originality.ai에서는 GPT-5.5로 생성된 학술 텍스트의 39%가 탐지되지 않았습니다.

다른 탐지 방식, 동일한 맹점

Pangram은 인간과 기계가 생성한 텍스트를 학습한 신경망(neural network)을 사용하지만, 판결 결과를 추적할 수 없기 때문에 창립자는 이 시스템을 '블랙박스'라고 불렀습니다. GPTZero는 언어 모델이 인간보다 더 획일적으로 글을 쓴다는 아이디어를 바탕으로, 단어 선택의 예측 가능성과 텍스트 내에서 얼마나 변화가 있는지를 측정합니다. Originality.ai는 인간 및 AI 생성 텍스트 학습 중에 학습한 통계적 패턴을 찾아냅니다.

이러한 기술적 차이에도 불구하고, 이 세 가지 탐지기 모두 동일한 패턴을 보여주었습니다. 단순한 프롬프트로 생성된 텍스트는 거의 매번 잡아내지만, 문체 모방 텍스트는 훨씬 더 자주 탐지에 실패하는 것입니다.

원문 보기

원문 보기 (영어)

AI text detectors struggle when language models mimic an author's style Matthias Bastian View the LinkedIn Profile of Matthias Bastian Jul 19, 2026 Nano Banana Pro prompted by THE DECODER Key Points A research team at Epoch AI has shown that popular AI text detectors like Pangram, GPTZero, and Originality.ai can identify AI-generated text with near-perfect accuracy under standard conditions. When AI models are prompted to imitate a specific author's writing style using text samples, the detectors' performance drops significantly, with an average of 13 percent of the generated passages slipping through undetected. Scientific writing is a weak spot: detectors failed to flag between 24 and 29 percent of style-mimicking AI-generated content in that category, raising concerns about the reliability of these tools in educational settings. Ask about this article… Search Popular AI text detectors catch plain AI-generated text with near-perfect accuracy. But when language models deliberately copy a specific author's writing style, up to one in five AI texts slips through undetected. Scientific writing is where the detectors fail the hardest. A research team from Epoch AI tested three of the most widely used AI text detectors: Pangram (version 3.3.2), GPTZero (model 2026-05-11-base), and Originality.ai (Turbo 3.0.2). The test covered three categories: genuine human writing, AI text generated from simple prompts, and AI text that deliberately mimicked a specific author's style. The team built a corpus of 495 human passages from 99 authors, evenly split across blogging, fiction, and scientific writing. All texts were written before ChatGPT's release in November 2022, which effectively rules out contamination by language models. Ad When dealing with plain AI-generated text, all three detectors performed almost flawlessly , with the false-negative rate topping out at 0.7 percent. Human texts were also classified correctly for the most part. Pangram and GPTZero didn't produce a single false alarm. Originality.ai, however, flagged 19 out of 495 human passages as AI-generated, a troublingly high false-positive rate of 3.8 percent. Ad DEC_D_Incontent-1 Style imitation tanks detection rates That result changes when language models receive writing samples from an author as reference material. For this test, three frontier models (Claude Opus 4.8, GPT-5.5, and Gemini 3.1 Pro) each received five real text passages from an author and were asked to write new text in the same style. Of the 297 passages generated this way, an average of 38 went undetected, according to Epoch AI, which works out to a false-negative rate of about 13 percent. Pangram missed 10 percent of style-imitated texts, GPTZero missed 11 percent, and Originality.ai missed 18 percent. Ad For fiction, the false-negative rate across all detectors sat at just 1 to 5 percent. scientific writing told a very different story. Pangram failed to catch 25 percent of style-imitated academic AI texts, GPTZero missed 24 percent, and Originality.ai missed 29 percent. The worst individual results showed up in specific model-genre combinations within scientific writing. Pangram missed 48 percent of Gemini-generated academic passages, according to the published data . At Originality.ai, 39 percent of academic GPT-5.5 texts went undetected. Ad DEC_D_Incontent-2 Different methods, same blind spots Pangram uses a neural network trained on human and machine-generated text, though its founder has called the system a black box since its verdicts can't be traced. GPTZero measures how predictable word choices are and how much that varies within a text, based on the idea that language models write more uniformly than humans. Originality.ai searches for statistical patterns it learned during training on human and AI-generated text. Ad Despite these differences, all three detectors show the same pattern. They catch text from simple prompts almost every time but miss imitations far more often. Scientific writing, the genre where AI detection probably sees the most real-world use , remains the hardest to flag correctly. An earlier Authors Guild test found that Pangram and Originality.ai reliably classified human texts as human. The Epoch AI study fills in the other half of that picture: a low false-alarm rate on human writing says little about how many AI texts actually slip through. AI News Without the Hype – Curated by Humans Subscribe to THE DECODER for ad-free reading, a weekly AI newsletter, our exclusive "AI Radar" frontier report six times a year, full archive access, and access to our comment section. Subscribe now Source: Epoch AI

AI 탐지기 문체 모방 에포크 AI 학술 부정 GPTZero