The Decoder • 22일 전

클라우드플레어, AI 봇 차단을 세분화된 제어로 전환

IMP

8/10

핵심 요약

클라우드플레어가 AI 봇 일괄 차단 기능을 폐지하고 검색, 학습, 에이전트(Agent) 목적에 따라 세분화된 차단 및 제어 기능을 도입했습니다. 이를 통해 웹사이트 운영자는 콘텐츠 무단 수집을 방지하고 광고가 포함된 페이지의 인간 사용자 트래픽을 보다 효과적으로 보호할 수 있습니다. 또한 엔터프라이즈 고객을 위해 모든 봇 정보를 제공하는 봇 데이터베이스를 새롭게 선보입니다.

번역된 본문

클라우드플레어, AI 봇 일괄 차단을 검색·학습·에이전트 크롤러를 위한 세분화된 제어로 전환 출처: 블로그 작성자: Matthias Bastian (2026년 7월 6일)

클라우드플레어(Cloudflare)가 모든 고객에게 AI 봇이 웹사이트에 접근하는 방식을 제어할 수 있는 새로운 도구를 제공합니다. 2024년 7월부터 클라우드플레어 고객은 단 한 번의 클릭으로 모든 AI 크롤러를 차단할 수 있었습니다. 이제 사이트 소유자는 일괄 차단 대신 세 가지 카테고리 중에서 선택할 수 있습니다. '검색(Search)'은 검색 엔진 인덱싱을 포함합니다. '학습(Training)'은 AI 모델 학습을 위한 데이터 수집을 포함합니다. '에이전트(Agent)'는 ChatGPT와 같이 사용자를 대신하여 행동하는 봇을 포함합니다.

2026년 9월 15일부터 광고가 포함된 페이지의 경우, 사이트가 실제 방문자(인간)를 원한다는 신호로 간주하여 '학습' 및 '에이전트' 봇이 기본적으로 차단됩니다. 단, 검색 크롤러는 여전히 허용됩니다. 구글봇(Googlebot)처럼 검색과 AI 학습을 동시에 수행하는 다목적 크롤러는 가장 엄격한 규칙을 따르게 됩니다. 이러한 새로운 옵션은 무료 요금제 사용자도 이용할 수 있습니다.

클라우드플레어는 봇 운영자들에게 목적에 따라 크롤러를 분리할 것을 촉구하고 있습니다. 클라우드플레어의 매튜 프린스(Matthew Prince) 최고경영자(CEO)는 이전에 구글이 검색 크롤러와 AI 크롤러를 묶어서 운영하는 것에 대해 비판한 바 있습니다. 2026년 6월, 프린스 CEO는 인터넷에서 봇 트래픽이 처음으로 인간 트래픽을 추월했다고 밝혔으며, 이는 그가 원래 2027년 말쯤이나 예상했던 하나의 이정표였습니다.

새로운 봇 데이터베이스, 기업에 더욱 세밀한 제어권 부여 엔터프라이즈 고객을 위해 클라우드플레어는 대시보드에 내장된 모든 알려진 봇의 검색 가능한 데이터베이스인 '봇베이스(BotBase)'를 출시합니다. 이는 각 봇이 어떻게 분류되고 콘텐츠를 어떻게 사용하는지(단순히 페이지 링크만 걸지, 전체를 복제하는지 여부 등)를 보여줍니다. 또한 클라우드플레어는 확인된 봇(Verified bots)에 대한 규칙도 변경합니다. 이전에는 확인된 모든 봇이 자동으로 통과할 수 있었습니다. 앞으로는 봇의 카테고리에 따라 접근 권한이 부여됩니다. '확인(Verified)' 라벨만으로는 더 이상 충분하지 않으며, 봇 운영자는 자신들을 정직하게 식별하고 부여받은 접근 권한을 남용하지 않는다는 것을 증명해야 합니다.

원문 보기

원문 보기 (영어)

Cloudflare replaces its blanket AI bot block with granular controls for search, training, and agent crawlers Matthias Bastian View the LinkedIn Profile of Matthias Bastian Jul 6, 2026 Ask about this article… Search Cloudflare gives all customers new tools to control how AI bots access their websites. Since July 2024, Cloudflare customers have been able to block all AI crawlers with a single click . Now, instead of a blanket block, site owners can choose between three categories. Search covers search engine indexing. Training covers data collection for AI model training. Agent covers bots acting on behalf of users, like ChatGPT. Starting September 15, 2026, Training and Agent bots will be blocked by default on pages that carry ads, since advertising signals that a site wants human visitors. Search crawlers will still be allowed. Multi-purpose crawlers like Googlebot that both search and train will be treated according to whichever rule is strictest. The new options are available to users on the free plan as well. Ad Cloudflare is pushing bot operators to split their crawlers by purpose. Cloudflare CEO Matthew Prince has previously called out Google for bundling its search crawler with its AI crawler. In June 2026, Prince noted that bot traffic had surpassed human traffic on the internet for the first time, a milestone he originally didn't expect until late 2027 . Ad DEC_D_Incontent-1 New bot database gives enterprises more granular control For enterprise customers, Cloudflare is also launching BotBase , a searchable database of all known bots built right into the dashboard. It shows how each bot is classified and how it uses content, whether it just links to pages or reproduces them in full. Cloudflare is also changing the rules for verified bots . Previously, all verified bots were allowed through automatically. Going forward, a bot's category determines whether it gets access. The "Verified" label alone won't be enough anymore: Bot operators will need to prove they identify themselves honestly and don't abuse the access they're granted. Ad AI News Without the Hype – Curated by Humans Subscribe to THE DECODER for ad-free reading, a weekly AI newsletter, our exclusive "AI Radar" frontier report six times a year, full archive access, and access to our comment section. Subscribe now Source: Cloudflare