Hacker News • 4일 전

구조만으로 AI 생성 웹 콘텐츠 식별하는 'SlopShape'

IMP

7/10

핵심 요약

이 논문은 단어 수준 탐지기를 넘어, 정보가 제시되는 순서·근거·문체 같은 '구조적 서명'만으로 AI가 생성한 상업용 웹 콘텐츠를 식별할 수 있음을 보여줍니다. 214개 구조 특징 기반 도구로 AI 글을 98% 정확도(매크로 F1)로 탐지했으며, AI 글을 다시 표현(paraphrase)해도 성능이 유지되고 79.3%의 확률로 어떤 모델이 생성했는지까지 추적할 수 있었습니다. 표면 단어가 아닌 구조 수준의 AI 탐지가 가능하다는 점에서 콘텐츠 신뢰성 검증 분야에 중요한 연구입니다.

번역된 본문

컴퓨터 과학 > 계산 및 언어

arXiv:2609.15369 (cs) [2026년 9월 14일 제출 (v1), 2026년 9월 17일 최종 수정 (현재 버전 v2)]

제목: SlopShape: AI 생성 상업용 웹 콘텐츠 식별 저자: 요헨 마들러(Jochen Madler, Sitefire)

초록: 단어 수준의 탐지기는 편집되지 않은 AI 생성 텍스트를 거의 완벽하게 식별하지만, 문헌에 따르면 표현을 바꾸면 취약해지며, 단어 수준 점수는 텍스트를 특징짓지도 못하고 어떤 AI 모델이 작성했는지도 밝혀주지 못합니다. 저자는 AI 생성 텍스트를 한 단계 더 깊이, 즉 구조적 서명—정보가 어떻게 제시되고, 어떤 순서로, 어떤 근거와 함께, 어떤 문체로 전달되는지—를 통해 식별할 수 있는지 묻습니다. AI 생성 소설에서 이러한 패턴을 보여준 StoryScope(Russell 외, 2026) 연구를 상업용 콘텐츠에 재현했습니다. 268개 기업 도메인의 ChatGPT 이전 인간 작성 블로그 글 2,250편과 5개 최신 프런티어 모델이 생성한 11,250편의 AI 대응물을 비교했습니다. LLM이 적용하고 인간 골드 주석 세션으로 검증된(인간 간 카파 0.928, 인간-모델 간 0.946) 214개 특징 도구는, 187개 구조 특징만으로 학습 데이터에 없던 기업의 글에서 AI 포스트를 98.0 매크로 F1으로 탐지했으며, 모든 AI 포스트를 해당 모델 자체로 다시 표현해도 성능이 변하지 않았습니다(98.1). 이 신호는 텍스트를 특징짓고 귀속시킬 수 있습니다. AI 포스트는 깔끔하고 자기 자신을 알리는(self-announcing) 구조를 공유하며, 79.3%가 우연 수준(16.7%)을 크게 웃돌아 올바른 생성 모델로 귀속되었고, 인간 작성 글은 드문 구조 조합을 차지했습니다. 모든 효과는 StoryScope의 결과를 재현했으며, 방향은 일치하고 크기는 더 컸습니다. 저자는 파이프라인, 도구, 프롬프트, 코드 및 집계 산출물을 공개합니다.

비고: 20쪽, 그림 5개. 검증 산출물 및 코드: 본문 내 링크 참조. v2: 브리프 작성 과정에 대한 설명과 여러 보고 수치를 수정하고 AI 사용 고지를 추가함.

주제: 계산 및 언어 (cs.CL)

인용: arXiv:2609.15369 [cs.CL] (또는 이 버전은 arXiv:2609.15369v2 [cs.CL]) https://doi.org/10.48550/arXiv.2609.15369

제출 이력: 요헨 마들러로부터 [v1] 2026년 9월 14일 (월) 10:55:30 UTC (357 KB) [v2] 2026년 9월 17일 (목) 06:51:17 UTC (357 KB)

전문 링크: PDF 보기, HTML 보기(실험적), TeX 소스 보기(라이선스 확인)

현재 탐색 컨텍스트: cs.CL

관련 도구 및 링크: NASA ADS, Google Scholar, Semantic Scholar, BibTeX 내보내기, Connected Papers, Litmaps, scite.ai 스마트 인용, alphaXiv, CatalyX 코드 파인더, DagsHub, Hugging Face, Gotit.pub, ScienceCast, Replicate, Hugging Face Spaces, TXYZ.AI 등

관련 논문, 추천 시스템, 영향력 플라워, CORE 추천기

arXivLabs 정보: arXivLabs는 공동 연구자들이 arXiv의 새로운 기능을 직접 개발하고 공유할 수 있게 하는 실험적 프레임워크입니다.

원문 보기

원문 보기 (영어)

--> Computer Science > Computation and Language arXiv:2609.15369 (cs) [Submitted on 14 Sep 2026 ( v1 ), last revised 17 Sep 2026 (this version, v2)] Title: SlopShape: Identifying AI-Generated Commercial Web Content Authors: Jochen Madler (Sitefire) View a PDF of the paper titled SlopShape: Identifying AI-Generated Commercial Web Content, by Jochen Madler (Sitefire) View PDF HTML (experimental) Abstract: Word-level detectors identify unedited AI-generated text almost perfectly, but the literature documents their brittleness under rewording, and a word-level score neither characterizes a text nor identifies which AI model wrote it. We ask whether AI-generated text can be identified one level deeper, from structural signatures: how information is presented, in what order, with what evidence, and in what voice. We replicate StoryScope (Russell et al., 2026), which showed such patterns for AI-generated fiction, on commercial content: 2,250 pre-ChatGPT human blog posts from 268 company domains against 11,250 AI mirrors from five frontier models. A 214-feature instrument, applied by an LLM and validated in a human gold-annotation session (human-human kappa 0.928, human-model 0.946), detects AI posts from its 187 structural features alone at 98.0 macro-F1 on held-out companies, unchanged (98.1) when every AI post is reworded by its own model. The signal characterizes and attributes: AI posts share a tidy, self-announcing shape, 79.3% are attributed to the correct source against a 16.7% chance rate, and human posts occupy rare structural configurations. All effects replicate StoryScope's, consistent in direction and larger in magnitude. We release pipeline, instrument, prompts, code, and aggregate artifacts. Comments: 20 pages, 5 figures. Verification artifacts and code: this https URL . v2: corrected description of brief construction and several reported counts; added AI disclosure Subjects: Computation and Language (cs.CL) Cite as: arXiv:2609.15369 [cs.CL] (or arXiv:2609.15369v2 [cs.CL] for this version) https://doi.org/10.48550/arXiv.2609.15369 Focus to learn more arXiv-issued DOI via DataCite Submission history From: Jochen Madler [ view email ] [v1] Mon, 14 Sep 2026 10:55:30 UTC (357 KB) [v2] Thu, 17 Sep 2026 06:51:51 UTC (357 KB) Full-text links: Access Paper: View a PDF of the paper titled SlopShape: Identifying AI-Generated Commercial Web Content, by Jochen Madler (Sitefire) View PDF HTML (experimental) TeX Source view license Current browse context: cs.CL < prev | next > new | recent | 2026-09 Change to browse by: cs References & Citations NASA ADS Google Scholar Semantic Scholar export BibTeX citation Loading... BibTeX formatted citation × loading... Data provided by: Bookmark Bibliographic Tools Bibliographic and Citation Tools Bibliographic Explorer Toggle Bibliographic Explorer ( What is the Explorer? ) Connected Papers Toggle Connected Papers ( What is Connected Papers? ) Litmaps Toggle Litmaps ( What is Litmaps? ) scite.ai Toggle scite Smart Citations ( What are Smart Citations? ) Code, Data, Media Code, Data and Media Associated with this Article alphaXiv Toggle alphaXiv ( What is alphaXiv? ) Links to Code Toggle CatalyzeX Code Finder for Papers ( What is CatalyzeX? ) DagsHub Toggle DagsHub ( What is DagsHub? ) GotitPub Toggle Gotit.pub ( What is GotitPub? ) Huggingface Toggle Hugging Face ( What is Huggingface? ) ScienceCast Toggle ScienceCast ( What is ScienceCast? ) Demos Demos Replicate Toggle Replicate ( What is Replicate? ) Spaces Toggle Hugging Face Spaces ( What is Spaces? ) Spaces Toggle TXYZ.AI ( What is TXYZ.AI? ) Related Papers Recommenders and Search Tools Link to Influence Flower Influence Flower ( What are Influence Flowers? ) Core recommender toggle CORE Recommender ( What is CORE? ) Author Venue Institution Topic About arXivLabs arXivLabs: experimental projects with community collaborators arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website. Both individuals and organizations that work with arXivLabs have embraced and accepted our values of openness, community, excellence, and user data privacy. arXiv is committed to these values and only works with partners that adhere to them. Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs . Which authors of this paper are endorsers? | Disable MathJax ( What is MathJax? )

ai-탐지 자연어처리 연구 웹-콘텐츠 arxiv