#크롤러

AI 학습 차단하면서 검색 노출은 유지하는 Cloudflare 신기능

Cloudflare가 검색 인덱싱은 허용하면서 AI 학습은 거부할 수 있는 'Disallow AI Training' 설정을 발표했습니다. Apple, Google, Microsoft가 이 설정을 존중하거나 존중하기로 약속했습니다. 내년 초까지 AI 요약에 포함될 콘텐츠 양까지 세밀하게 제어할 수 있게 하는 것이 목표입니다.

주말 10달러로 메이커를 위한 50만 도메인 검색 엔진 만들기

거대 기업의 SEO와 문서에 묻히지 않고, 개인 프로젝트와 창작물만 찾아주는 맞춤형 검색 엔진을 주말 단기로 구축한 사례입니다. 로컬 소형 언어 모델을 활용해 웹페이지를 요약하고 분류하며, 약 10달러의 GPU 서버 비용으로 50만 개 이상의 사이트 인덱스를 구축할 수 있었습니다. 개인 개발자가 AI를 활용해 기존 검색 엔진의 한계를 뛰어넘는 효율적인 로컬 도구를 만드는 데 훌륭한 영감을 제공합니다.