TechCrunch AI • 11일 전

크리에이터 무단 학습 방지… Patreon, AI 봇 차단 나서

IMP

8/10

핵심 요약

크리에이터 플랫폼 Patreon이 클라우드플레어(Cloudflare)와 협력하여 크리에이터의 콘텐츠를 무단으로 긁어가는 AI 학습 봇을 직접적으로 차단하고 있습니다. 단순히 로봇.txt(robots.txt) 파일로 접근을 자제해달라고 요청하는 데 그치지 않고, 강력한 인프라 차원의 조치를 취함으로써 AI 기업들의 콘텐츠 무단 학습으로부터 크리에이터의 권리를 적극적으로 보호하려는 의도입니다.

번역된 본문

크리에이터를 위한 멤버십 플랫폼인 Patreon이 자사 콘텐츠를 AI 모델 학습 목적으로 무단 수집(스크래핑)하는 행위를 강력하게 제재하고 있습니다. 지난 목요일, 이 회사는 인터넷 인프라 제공업체인 Cloudflare와 협력하여 크리에이터의 작업물을 허가 없이 학습하려는 AI 봇의 접근을 직접 차단하고 있다고 밝혔습니다. Patreon 측은 2023년에 AI 크롤러를 억제하기 위한 조치를 처음 도입한 이후 AI 스크래핑 기술이 훨씬 정교해졌기 때문에 이러한 조치를 강화할 필요가 있었다고 설명했습니다.

또한, Patreon의 페이월(paywall)은 오랫동안 크리에이터의 대부분 콘텐츠를 크롤러가 함부로 접근하지 못하도록 보호해 왔습니다. 하지만 최근에는 새롭게 단장된 홈 피드(Home Feed)나 트위터와 유사한 'Quips' 같은 콘텐츠 발견 도구들을 도입하면서 크롤러에 더 많은 콘텐츠가 노출될 가능성이 생겼습니다. 이러한 변화는 AI가 자신들의 모델을 더 똑똑하게 만들기 위해 온라인 퍼블리셔 및 콘텐츠 크리에이터의 작업물을 어떻게 흡수하는지에 대해 점점 더 많은 이들이 대응하기 시작하는 가운데 발생했습니다.

이에 대응하여 Cloudflare는 이제 웹사이트 운영자가 AI 봇을 제한할 수 있는 도구를 제공합니다. 여기에는 웹사이트가 스크래핑하는 AI 봇에 요금을 부과할 수 있도록 '페이 퍼 크롤(Pay Per Crawl)'이라는 마켓플레이스도 포함되어 있습니다. 이달 초, Cloudflare는 정책을 변경하여 웹사이트 콘텐츠를 색인화(index)하고 학습하는 두 가지 목적을 모두 가진 '혼합용도' 크롤러의 경우, 광고가 포함된 페이지에서는 기본적으로 차단되도록 조치했습니다.

Patreon은 Cloudflare의 'AI 크롤 제어(AI Crawl Control)' 기술을 활용하여 자사의 AI 정책 및 집행 도구를 업데이트하기 위한 기존의 협력 관계를 확장하고 있다고 밝혔습니다. 핵심은 Patreon이 봇에게 사이트 이용 방법에 대한 지침을 제공하는 표준 방식인 robots.txt 파일을 사용해 단순히 콘텐츠를 긁어가지 말라고 '요청'하는 것을 넘어, 이제 AI 학습 봇을 '능동적으로 차단'하고 있다는 점입니다.

Patreon은 강화된 조치와 관련하여 블로그 게시물을 통해 "동의 여부는 스크래퍼가 잘 행동하기로 선택했는지의 여부에 달려 있어서는 안 된다"고 설명했습니다. 이 기능을 테스트했을 때 개별 AI 학습 크롤러의 주간 Patreon 접근 시도 횟수가 "수천 건에서 0건으로" 떨어졌다고 게시물은 언급했습니다. 이는 AI 스크래퍼들이 Patreon의 요청에도 불구하고 robots.txt 파일을 무시하고 무단으로 사이트를 긁어가고 있었음을 시사합니다.

하지만 회사는 정보를 색인화하고 사용자를 Patreon으로 다시 안내하는 데 사용되는 정보를 구성하는 봇은 허용할 것이라고 밝혔습니다. 제품 책임자인 Drew Rowny는 발표문에서 "AI 에이전트가 점점 더 강력하고 대중화됨에 따라, 크리에이터들은 자신의 작업물이 AI 기업에 의해 어떻게 사용되는지에 대해 의미 있는 통제권을 가져야 마땅하다"고 말했습니다. 이어서 "대부분의 인터넷 환경에서 크리에이터는 청중에게 도달하고 팬층을 확장하기 위해 자신의 작업물에 대한 AI 학습을 그저 감수해야만 합니다. 하지만 Patreon의 비전은 다릅니다. 크리에이터는 팬층을 키우면서도 자신의 작업물이 어떻게 사용되는지 통제할 수 있어야 합니다."라고 덧붙였습니다.

원문 보기

원문 보기 (영어)

Patreon , the membership platform for creators, is cracking down on AI scraping its content for training purposes. On Thursday, the company shared that it's working with internet infrastructure provider Cloudflare to directly block access to AI bots designed to train their AI models on creators' work without permission. The strengthened measures were necessary because AI scraping has become more sophisticated since it first put measures in place to deter AI crawlers in 2023, the company says. In addition, Patreon's paywall has long locked much of creators' content out of reach of crawlers. But more recently, the company introduced new discovery tools like a redesigned Home Feed and its tweet-like Quips , which could expose more content to crawlers. The changes come about as more online publishers and content creators are coming to grips with how AI is ingesting their work for the purpose of making their AI models smarter. To combat this, Cloudflare now offers tools that allow website publishers to restrict AI bots , including a marketplace that lets websites charge AI bots for scraping , dubbed Pay Per Crawl. Earlier this month, it changed its policies so that "mixed-use" crawlers, meaning those that both index and train on a website's content, are blocked by default on any pages that host ads. Patreon says that it's extending its existing work with Cloudflare to use the company's AI Crawl Control technology to update its AI policies and enforcement tools. The difference here is that instead of simply asking AI crawlers not to scrape content using the robots.txt files — a standard way to provide bots with instructions on how they can use its site — Patreon is now actively blocking AI training bots. "Consent shouldn't depend on whether a scraper chooses to behave," a Patreon blog post explains, referencing the stricter measures. When testing the features, individual AI training crawlers' weekly attempts to access Patreon went from "thousands of attempts to zero," the post noted. That indicates that the AI scrapers were ignoring Patreon's robots.txt file and scraping the site anyway, despite its requests. However, the company said that it will allow bots that index pages and organize information that can be used to send users back to Patreon. "As AI agents become increasingly powerful and popular, creators deserve a meaningful say in how their work is used by AI companies," remarked Patreon's product chief Drew Rowny in the announcement. "On most of the Internet, creators have to accept AI training on their work just to reach and grow an audience. Patreon has a different vision: creators should be able to grow their audience and control how their work is used." Topics AI , AI , cloudflare , Patreon When you purchase through links in our articles, we may earn a small commission . This doesn’t affect our editorial independence. Sarah Perez Consumer News Editor Sarah has worked as a reporter for TechCrunch since August 2011. She joined the company after having previously spent over three years at ReadWriteWeb. Prior to her work as a reporter, Sarah worked in I.T. across a number of industries, including banking, retail and software. You can contact or verify outreach from Sarah by emailing sarahp@techcrunch.com or via encrypted message at sarahperez.01 on Signal. View Bio November 4 Boston Last chance to save up to $190 on TechCrunch Founder Summit. Join 1,000+ founders and VCs at all stages for real-world scaling insights and connections that move the needle. Savings end June 26, 11:59 p.m. PT . REGISTER NOW Most Popular Tesla driver in fatal Texas crash pressed accelerator 100%, NTSB confirms Sean O'Kane OpenAI's first hardware device is reportedly a screenless speaker that can move Lucas Ropek Anthropic's newest ad is creeping people out Lucas Ropek Satya Nadella has issued a shocking warning to companies using AI Julie Bort The wildest allegations in Apple’s trade secrets lawsuit against OpenAI Sarah Perez Anthropic starts localizing Claude pricing for India, its biggest market after the US Jagmeet Singh Meta removes controversial AI feature on Instagram after backlash Lucas Ropek