HN
Hacker News • 45일 전
클로드봇 등 AI 봇으로 위장한 대규모 취약점 스캔 의심
IMP 8/10
핵심 요약
최근 해커나 악의적인 스캐너가 클로드봇(ClaudeBot)과 같은 인공지능(AI) 데이터 수집 봇으로 신원을 위장하여 대규모 웹 취약점 스캔을 실행하는 사례가 포착되었습니다. 이는 보안 담당자가 실제 AI 트래픽과 악의적인 위협을 구분하기 어렵게 만들어 웹 방어 체계의 식별 및 차단을 방해하는 치명적인 보안 위협으로 평가됩니다. AI 봇 트래픽이 전체 웹 트래픽에서 차지하는 비중이 커지는 현 상황에서 각 기업은 봇의 행동 패턴과 출처를 교차 검증할 수 있는 정교한 관제 체계 마련이 시급합니다.
번역된 본문
에이전트 웹 인덱스(Agentic Web Index) 인터넷은 주로 인간을 위해 구축된 환경에서 기계가 사용하는 환경으로 빠르게 진화하고 있습니다. AI 에이전트, 크롤러, 스크래퍼 및 기타 봇들이 웹 전체에서 정보가 발견되고, 액세스되고, 사용되는 방식을 어떻게 재편하고 있는지 확인해 보십시오.
개요 에이전트 분석(Agent Analytics) 및 AI 채팅 추적(AI Chat Referral Tracking)을 사용하여 5,000개 이상의 웹사이트에 걸친 주요 생태계 지표.
봇 vs. 인간 트래픽: 35% (이전 90일 대비 2% 감소) 인간 대비 봇의 방문량 비율
에이전트화(Agentrification): 28% (이전 90일 대비 11% 증가) AI와 관련된 봇 트래픽의 비율
AI 채팅 추천 트래픽: 0.1% (이전 90일 대비 9% 감소) AI 채팅을 통해 유입된 인간 웹사이트 방문의 비율 추천 트래픽 동향 확인 ↓
Robots.txt 효과: 98.5% 봇이 robots.txt 규칙을 준수하는 빈도 에이전트별 현황 확인 ↓
에이전트 유형별 트래픽
- AI 에이전트(AI Agent): 실제 웹 브라우저를 사용하여 사용자를 대신해 복잡한 작업을 자율적으로 완료합니다.
- AI 어시스턴트(AI Assistant): 사용자의 프롬프트에 대한 응답으로 웹사이트 콘텐츠를 가져와 AI 생성 답변에 포함시킵니다.
- AI 코딩 에이전트(AI Coding Agent): 소프트웨어 구축을 돕기 위해 문서 및 기타 리소스를 가져옵니다.
- AI 데이터 제공자(AI Data Provider): 타사 서비스로서 AI 시스템에 구조화된 콘텐츠를 제공하기 위해 웹사이트를 크롤링합니다.
- AI 데이터 스크래퍼(AI Data Scraper): 대규모 언어 모델(LLM)과 같은 AI 모델 학습에 사용되는 데이터 세트에 포함시키기 위해 웹사이트 콘텐츠를 다운로드합니다.
- AI 검색 크롤러(AI Search Crawler): AI 기반 검색 결과에 인용문으로 포함시킬 수 있도록 웹사이트 콘텐츠를 인덱싱합니다.
- 아카이버(Archiver): 장기적인 디지털 보존을 위해 과거 웹사이트 스냅샷을 캡처하고 저장합니다.
- 자동화 에이전트(Automated Agent): 직접적인 인간의 감독 없이 프로그래밍 방식으로 브라우저 상호 작용을 자동화합니다.
- 개발자 도우미(Developer Helper): 테스트, 디버깅 및 웹사이트 기능 보장을 지원합니다.
- 페쳐(Fetcher): 링크 미리 보기나 피드와 같은 앱 기능을 구동하기 위해 웹 페이지 메타데이터를 검색합니다.
- 정보 수집기(Intelligence Gatherer): 브랜드 안전성, 경쟁 통찰력 및 광고 타겟팅을 위해 웹 콘텐츠를 분석합니다.
- 스크래퍼(Scraper): 명시적인 웹사이트의 허가 없이 대량의 웹 데이터를 추출합니다.
- 검색 엔진 크롤러(Search Engine Crawler): 검색 결과에 포함시키기 위해 웹 페이지를 체계적으로 스캔하고 인덱싱합니다.
- 보안 스캐너(Security Scanner): 보안 취약점, 위협 및 구성 약점을 찾기 위해 웹사이트를 스캔합니다.
- SEO 크롤러(SEO Crawler): SEO 개선 기회를 파악하기 위해 웹사이트 구조와 콘텐츠를 분석합니다.
- 미분류(Uncategorized): 아직 유형이 지정되지 않은 에이전트입니다.
- 미공개 AI 에이전트(Undocumented AI Agent): 목적을 공개하지 않고 웹사이트를 크롤링하며, 알려지지 않은 AI 사용 사례를 위해 데이터를 수집합니다.
주요 에이전트 유형 (가장 활동이 많은 순서) 검색 엔진 크롤러 22.8%, SEO 크롤러 19.7%, AI 검색 크롤러 12.4%, 개발자 도우미 11.0%, AI 데이터 스크래퍼 10.9%, 페쳐 7.0%, 미분류 에이전트 6.1%, AI 어시스턴트 3.8%, 정보 수집기 2.7%, AI 데이터 제공자 1.0%, 보안 스캐너 0.8%, 스크래퍼 0.8%, 자동화 에이전트 0.4%, 아카이버 0.3%, 미공개 AI 에이전트 0.2%
방문 빈도가 높은 주요 에이전트
- 빙봇 (bingbot) [검색 엔진 크롤러]: 검색 결과에 포함시키기 위해 웹 페이지를 체계적으로 스캔하고 인덱싱합니다. (8.2%)
- 구글봇 (Googlebot) [검색 엔진 크롤러]: 검색 결과에 포함시키기 위해 웹 페이지를 체계적으로 스캔하고 인덱싱합니다. (7.9%)
- 에이허프봇 (AhrefsBot) [SEO 크롤러]: SEO 개선 기회를 파악하기 위해 웹사이트 구조와 콘텐츠를 분석합니다. (6.2%)
- Known Agent [개발자 도우미]: 테스트, 디버깅 및 웹사이트 기능 보장을 지원합니다. (5.5%)
- ChatGPT-User [AI 어시스턴트]: 사용자의 프롬프트에 대한 응답으로 웹사이트 콘텐츠를 가져와 AI 생성 답변에 포함시킵니다. (3.3%)
- ClaudeBot [AI 데이터 스크래퍼]: LLM과 같은 AI 모델 학습에 사용되는 데이터 세트에 포함시키기 위해 웹사이트 콘텐츠를 다운로드합니다. (3.2%) ※ 최신 해커뉴스 동향에 따르면, 이와 같은 AI 스크래퍼 봇으로 위장해 대규모 취약점 스캔을 시도하는 악의적인 세력이 존재합니다.
- 페탈봇 (PetalBot) [AI 검색 크롤러]: AI 기반 검색 결과에 인용문으로 포함시킬 수 있도록 웹사이트 콘텐츠를 인덱싱합니다. (3.2%)
- 세머시봇 (SemrushBot) [SEO 크롤러]
원문 보기 (영어)
The Agentic Web Index The internet is rapidly evolving from an environment built primarily for humans, into one increasingly used by machines. See how AI agents, crawlers, scrapers, and other bots are reshaping the way information is discovered, accessed, and used across the web. Overview Key ecosystem metrics across 5,000+ websites using Agent Analytics and AI Chat Referral Tracking . Bot vs. Human Traffic 35% ↓ 2% Compared to the previous 90 days The amount of visits from bots vs. humans Agentrification 28% ↑ 11% Compared to the previous 90 days The percentage of bot traffic that's AI-related AI Chat Referral Volume 0.1% ↓ 9% Compared to the previous 90 days The percentage of human website visits that come from AI chat See Referral Trends ↓ Robots.txt Effectiveness 98.5% How often bots follow robots.txt rules See Per Agent ↓ Traffic by Agent Type AI Agent AI Agent Uses an actual web browser to autonomously complete complex tasks on behalf of a human user AI Assistant AI Assistant Fetches website content in response to a user prompt, to include in an AI-generated answer AI Coding Agent AI Coding Agent Fetches documentation and other resources to help build software AI Data Provider AI Data Provider Crawls websites to supply structured content to AI systems as a third-party service AI Data Scraper AI Data Scraper Downloads website content to include in datasets used for training AI models such as LLMs AI Search Crawler AI Search Crawler Indexes website content to possibly include as citations in AI-powered search results Archiver Archiver Captures and stores historical website snapshots for long-term digital preservation Automated Agent Automated Agent Automates browser interactions programmatically without direct human supervision Developer Helper Developer Helper Assists with testing, debugging, and ensuring website functionality Fetcher Fetcher Retrieves web page metadata to power app features like link previews or feeds Intelligence Gatherer Intelligence Gatherer Analyzes web content for brand safety, competitive insights, and ad targeting Scraper Scraper Extracts large amounts of web data, often without explicit website permission Search Engine Crawler Search Engine Crawler Systematically scans and indexes web pages to include in search results Security Scanner Security Scanner Scans websites for security vulnerabilities, threats, and configuration weaknesses SEO Crawler SEO Crawler Analyzes website structure and content to identify SEO improvement opportunities Uncategorized Uncategorized Not yet assigned a type Undocumented AI Agent Undocumented AI Agent Crawls websites without disclosing its purpose, collecting data for an unknown AI use case Hover over each agent type for more information about what they do Top Agent Types Search Engine Crawlers 22.8% SEO Crawlers 19.7% AI Search Crawlers 12.4% Developer Helpers 11.0% AI Data Scrapers 10.9% Fetchers 7.0% Uncategorized Agents 6.1% AI Assistants 3.8% Intelligence Gatherers 2.7% AI Data Providers 1.0% Security Scanners 0.8% Scrapers 0.8% Automated Agents 0.4% Archivers 0.3% Undocumented AI Agents 0.2% Agent types with the most activity Top Visiting Agents bingbot SRCH Search Engine Crawler Systematically scans and indexes web pages to include in search results 8.2% Googlebot SRCH Search Engine Crawler Systematically scans and indexes web pages to include in search results 7.9% AhrefsBot SEO SEO Crawler Analyzes website structure and content to identify SEO improvement opportunities 6.2% Known Agent DEV Developer Helper Assists with testing, debugging, and ensuring website functionality 5.5% ChatGPT-User ASST AI Assistant Fetches website content in response to a user prompt, to include in an AI-generated answer 3.3% ClaudeBot SCRP AI Data Scraper Downloads website content to include in datasets used for training AI models such as LLMs 3.2% PetalBot SRCH AI Search Crawler Indexes website content to possibly include as citations in AI-powered search results 3.2% SemrushBot SEO SEO Crawler Analyzes website structure and content to identify SEO improvement opportunities 3.0% facebookexternalhit FTCH Fetcher Retrieves web page metadata to power app features like link previews or feeds 2.6% meta-externalagent SCRP AI Data Scraper Downloads website content to include in datasets used for training AI models such as LLMs 2.3% Amazonbot SCRP AI Data Scraper Downloads website content to include in datasets used for training AI models such as LLMs 2.3% MJ12bot SEO SEO Crawler Analyzes website structure and content to identify SEO improvement opportunities 2.2% Amzn-SearchBot SRCH AI Search Crawler Indexes website content to possibly include as citations in AI-powered search results 2.2% DotBot SEO SEO Crawler Analyzes website structure and content to identify SEO improvement opportunities 2.1% Applebot SRCH AI Search Crawler Indexes website content to possibly include as citations in AI-powered search results 2.1% Agents with the most activity Top Operators Google 10.5% Microsoft 8.9% Ahrefs 7.8% Meta 6.8% OpenAI 6.4% Known Agents 5.9% Anthropic 5.1% Amazon 4.8% Semrush 3.9% Huawei 3.4% Moz 2.3% Majestic 2.3% Baidu 2.2% Apple 2.2% Automattic 2.1% Operators with the most activity AI Scraping Activity These bots scrape website content to train AI models. Some belong to AI companies, while others belong to third-party services that resell the data. Automatic Robots.txt can block unwanted scraping. Included agent types include AI Data Providers and AI Data Scrapers . Traffic by Agent Type AI Data Provider AI Data Provider Crawls websites to supply structured content to AI systems as a third-party service AI Data Scraper AI Data Scraper Downloads website content to include in datasets used for training AI models such as LLMs AI scraping activity by agent type over time Top Visited Website Categories Law and Government 6.0% Online Communities 5.9% Home and Garden 5.5% Computers and Electronics 5.3% Shopping 5.2% Jobs and Education 5.2% Pets and Animals 5.1% Business and Industrial 5.0% Autos and Vehicles 4.8% Games 4.8% Hobbies and Leisure 4.6% Internet and Telecom 4.5% Beauty and Fitness 4.1% Website categories with most activity Top Agents ClaudeBot SCRP AI Data Scraper Downloads website content to include in datasets used for training AI models such as LLMs 27.0% meta-externalagent SCRP AI Data Scraper Downloads website content to include in datasets used for training AI models such as LLMs 19.5% Amazonbot SCRP AI Data Scraper Downloads website content to include in datasets used for training AI models such as LLMs 19.2% GPTBot SCRP AI Data Scraper Downloads website content to include in datasets used for training AI models such as LLMs 9.4% Bytespider SCRP AI Data Scraper Downloads website content to include in datasets used for training AI models such as LLMs 7.3% ShapBot PVDR AI Data Provider Crawls websites to supply structured content to AI systems as a third-party service 5.6% GoogleOther SCRP AI Data Scraper Downloads website content to include in datasets used for training AI models such as LLMs 3.9% CCBot SCRP AI Data Scraper Downloads website content to include in datasets used for training AI models such as LLMs 2.3% Timpibot SCRP AI Data Scraper Downloads website content to include in datasets used for training AI models such as LLMs 1.8% YouBot PVDR AI Data Provider Crawls websites to supply structured content to AI systems as a third-party service 1.4% VelenPublicWebCrawler SCRP AI Data Scraper Downloads website content to include in datasets used for training AI models such as LLMs 0.8% Diffbot PVDR AI Data Provider Crawls websites to supply structured content to AI systems as a third-party service 0.5% DeepSeekBot SCRP AI Data Scraper Downloads website content to include in datasets used for training AI models such as LLMs 0.4% TerraCotta PVDR AI Data Provider Crawls websites to supply structured content to AI systems as a third-party service 0.3% AIWebIndex PVDR AI Data Provider Crawls websi