클라우드플레어 CEO "웹의 미래는 유료 크롤링"
인터넷에서 봇 트래픽이 사람 트래픽을 넘어서는 역전 현상이 발생했습니다. AI 에이전트의 급증으로 예상보다 빠르게 나타난 변화입니다. 이에 따라 클라우드플레어는 웹 생태계가 접근 비용을 지불하는 '유료 크롤링' 모델로 전환될 것이라고 전망했습니다.
클라우드플레어(Cloudflare) CEO 매튜 프린스(Matthew Prince)에 따르면 인터넷에서 봇 트래픽이 사람 트래픽을 넘어섰습니다.
프린스는 원래 이 분기점이 2027년 말이나 되어야 나타날 것으로 예상했지만, AI 에이전트로부터 쏟아지는 자동화 트래픽의 급격한 성장으로 인해 그 시점이 크게 앞당겨졌다고 밝혔습니다. 이러한 변화는 지난 몇 달 사이에 일어났습니다. 프린스는 데이터가 아직은 다소 조악하지만, 그 추세는 명백하다고 덧붙였습니다.
프린스는 '봇(bot)', '크롤러(crawler)', '에이전트(agent)'가 모두 같은 의미를 가진다고 지적했습니다. 그저 이들을 긍정적으로 보느냐 부정적으로 보느냐에 따라 다르게 불릴 뿐이라는 것입니다.
웹의 미래에 대해서는 "분명히 유료 크롤링(pay to crawl) 형태가 될 것"이라고 그는 말했습니다.
클라우드플레어는 작년 여름 웹사이트 소유자가 AI 크롤러의 접근을 제한하고 비용을 청구할 수 있는 플랫폼을 출시했지만, 아직 큰 반응을 이끌어내지는 못했습니다. 프린스는 회사가 여전히 "이에 필요한 트래픽 볼륨을 지원하기 위한 프로토콜과 인프라를 구축 중"이라고 밝혔습니다.
이와 동시에 구글(Google)의 'AI 개요(AI Overviews)'와 'AI 모드(AI Mode)'는 수십억 명의 사용자를 확보하며 빠르게 성장하고 있습니다.