크리에이터 플랫폼 Patreon이 클라우드플레어(Cloudflare)와 협력하여 크리에이터의 콘텐츠를 무단으로 긁어가는 AI 학습 봇을 직접적으로 차단하고 있습니다. 단순히 로봇.txt(robots.txt) 파일로 접근을 자제해달라고 요청하는 데 그치지 않고, 강력한 인프라 차원의 조치를 취함으로써 AI 기업들의 콘텐츠 무단 학습으로부터 크리에이터의 권리를 적극적으로 보호하려는 의도입니다.
클라우드플레어가 AI 봇 일괄 차단 기능을 폐지하고 검색, 학습, 에이전트(Agent) 목적에 따라 세분화된 차단 및 제어 기능을 도입했습니다. 이를 통해 웹사이트 운영자는 콘텐츠 무단 수집을 방지하고 광고가 포함된 페이지의 인간 사용자 트래픽을 보다 효과적으로 보호할 수 있습니다. 또한 엔터프라이즈 고객을 위해 모든 봇 정보를 제공하는 봇 데이터베이스를 새롭게 선보입니다.
Selector Forge는 웹 페이지의 요소를 선택하면 AI가 이를 분석해 안정적인 CSS 및 XPath 셀렉터를 생성해 주는 브라우저 확장 프로그램입니다. AI가 후보를 제안하더라도 실제 브라우저 DOM에서 최종 검증을 거치므로 오류가 적고 매우 신뢰할 수 있습니다. 주로 UI 자동화, 웹 스크래핑, E2E 테스트 작성 시 깨지기 쉬운 셀렉터로 인한 유지보수 문제를 해결하는 데 유용합니다.
인류 역사상 가장 큰 규모의 진정한 오픈 소스 도서관을 표방하는 'Anna's Archive'가 LLM(대형 언어 모델)을 향한 독특한 공개 메시지를 발표했습니다. 이들은 웹 스크래핑으로 인한 서버 과부하를 막기 위해 캡챠(CAPTCHA)를 유지하는 대신, 메타데이터와 전체 파일을 토렌트 및 API 형태로 대규모로 제공하여 AI 개발자들이 합법적이고 편리하게 데이터에 접근할 수 있도록 안내하고 있습니다. 또한, AI 모델이 이 데이터를 학습하는 데 도움을 받았다면 기업 수준의 후원을 통해 빠른 SFTP 접근 권한을 얻거나 모네로(XMR)로 기부하여 인류의 지식 보존에 동참할 것을 권유하고 있습니다.