메뉴
BL
Wired AI 1일 전

클로드 비공개 대화 내용이 구글 검색에 노출된 사건

IMP
8/10
핵심 요약

최근 앤스로픽의 AI 봇인 '클로드'에서 사용자들이 공유한 대화 내역이 구글과 빙 같은 주요 검색 엔진에 색인되어 누구나 쉽게 볼 수 있는 사고가 발생했습니다. 앤스로픽은 robots.txt 파일을 통해 검색 엔진 크롤러의 접근을 막았지만, 개별 웹페이지에 'noindex' 태그를 추가하지 않아 결국 검색 결과에 노출되는 치명적인 기술적 허점을 보인 것입니다. 이 사건은 생성형 AI 도구에서 사용자가 공유하는 데이터가 검색 엔진 등 외부 경로를 통해 어떻게 의도치 않게 대규모 유출될 수 있는지 보여주는 중요한 보안 사례입니다.

번역된 본문

당신과 AI 챗봇 사이에서 일어난 일이 항상 둘만의 비밀로 남는 것은 아닙니다. 구글에게 물어보세요. 주말 동안 사람들은 일부 앤스로픽 클로드(Anthropic Claude) 대화 내용이 웹 검색을 통해 쉽게 발견될 수 있다는 사실에 놀랐습니다. 레딧(Reddit) 사용자에 의해 처음 보고된 이 문제는, 사람들이 가입해야 할 정당에 대한 조언을 구하거나, 캔자스 주 변호사들이 윤리 위반을 저질렀다고 믿을 때 자발적으로 보고해야 하는지 묻거나, 에로틱한 롤플레이를 하는 등 민감한 대화 내용을 포함하고 있었습니다.

클로드는 특정 챗봇 스레드에 대한 공개 URL을 생성함으로써 사용자가 다른 사람과 대화의 '스냅샷'을 공유할 수 있도록 허용합니다. 이러한 일부 URL이 주요 검색 엔진에 의해 색인된 이유는 웹사이트와 검색 엔진의 기본 기능, 그리고 이 둘이 생성형 AI와 얽힐 때 발생하는 충돌 때문입니다. 기본적으로 앤스로픽은 구글 및 빙과 같은 검색 엔진에서 사용하는 웹 크롤러에게 사용자가 공유하기로 한 대화를 색인하지 말 것을 지시합니다. 회사는 오랫동안 웹 스크래퍼에게 사이트의 어느 부분에 접근하는 것이 적절한지 알려주는 표준으로 간주되어 온 'robots.txt' 파일을 통해 이를 수행합니다. 웨이백 머신(Wayback Machine)의 스냅샷에 따르면, 앤스로픽의 robots.txt 파일은 2025년 9월 이후로 공유된 대화를 웹 스크래퍼가 접근할 수 없도록 설정되어 있었습니다.

하지만 페이지가 검색 엔진 결과에 노출되는 것을 막는 것은 생각보다 어렵습니다. 이 글을 작성하는 시점 기준으로 "site:claude.ai/share"를 검색하면 여전히 약 612개의 결과를 보여주는 빙(Bing)은 기술 문서에서 개발자가 robots.txt를 사용하여 검색 엔진의 웹 크롤러를 차단할 수 있지만, 웹 개발자는 개별 페이지에도 'noindex' 태그를 포함해야 한다고 명시하고 있습니다. 레딧 게시물에서 검색 결과에 나타난다고 지적된 대화 중 일부는 WIRED가 확인했을 때 이미 삭제되었으며, 빙에서는 여전히 작동하는 '공유' 쿼리 검색을 해도 구글에서는 더 이상 결과가 나타나지 않습니다.

구글은 개발자 가이드를 통해, 해당 페이지가 인터넷의 다른 곳에서 링크되어 있고 페이지 소유자가 페이지에 특별한 'noindex' HTML 태그를 포함하거나 페이지 응답 헤더에 'x-robots-tag'를 포함하지 않는 경우 robots.txt 지시를 무시한다고 밝힙니다. WIRED는 노출된 클로드 채팅 페이지 샘플을 검토했으며, 빙과 구글 모두 페이지 색인 여부를 결정할 때 고려한다고 밝힌 'noindex' 태그가 해당 페이지에 포함되어 있지 않다는 것을 발견했습니다.

빙을 소유한 마이크로소프트는 기사 게재 전에 코멘트를 제공하지 않았습니다. 앤스로픽 역시 여러 차례의 코멘트 요청에 응답하지 않았습니다. 구글의 대변인 네드 아드리안스(Ned Adriance)는 WIRED에 공유된 클로드 대화 내용이 색인된 것은 앤스로픽의 책임이라고 말합니다. 아드리안스는 "구글이나 다른 어떤 검색 엔진도 웹에서 공개되는 페이지를 통제하지 않으며, 이러한 페이지들은 여러 검색 엔진에 걸쳐 색인되었습니다. 우리는 사이트 소유자에게 페이지를 크롤링하거나 색인할 수 있는지 여부를 결정할 수 있는 명확한 권한을 부여하며, 우리는 항상 그러한 지시를 존중합니다."라고 말합니다. 앤스로픽은 공유 채팅 페이지에 'noindex' 태그를 포함하지 않은 이유에 대한 질문에 응답하지 않았습니다.

지난해 9월에도 앤스로픽은 같은 문제로 비판을 받았으며, 당시 포브스(Forbes)에 크롤러들이 공유된 대화에 접근하지 못하도록 robots.txt를 사용하고 있다고 밝혔습니다. 하지만 포브스 보고서가 지적하듯, 이것이 특정 웹 페이지가 검색 엔진에 색인되는 것을 막을 것이라는 보장은 없습니다. 비록 robots.txt가 페이지가 검색 엔진에 노출되는 것을 항상 완벽히 방지하지는 못할지라도, AI 연구소들은 여전히 다른 목적을 위해 이를 활용하고 있습니다. 많은 연구소들은 개발자가 자신의 robots.txt 파일에서 특정 크롤러를 '허용하지 않음(disallow)'으로 설정하는 한, 자신의 웹사이트가 AI 학습 데이터로 사용되지 않을 것이라고 창작자들에게 약속하며, 연구소들 스스로도 이 조언을 따르고 있습니다. 앤스로픽, 메타(Meta), 오픈AI(OpenAI)는 모두 자사 챗봇의 robots.txt 파일에 경쟁사의 웹 크롤러가 접근하는 것을 '허용하지 않음'으로 설정하는 지시를 포함하고 있습니다.

원문 보기
원문 보기 (영어)
Comment Loader Save Story Save this story Comment Loader Save Story Save this story What happens between you and an AI chatbot does not always stay between you and a chatbot. Just ask Google . Over the weekend, people were surprised to discover that some Anthropic Claude chats could be easily found via web search. The issue, which appears to have been first flagged by a redditor , exposed chats that included people asking for advice about what political party they should join, whether attorneys in Kansas are required to self-report when they believe they’ve committed an ethical violation, and erotic role play. Claude allows users to share with other people “snapshots” of chats by creating a public URL to a specific chatbot thread. The reasons some of these URLs were indexed by major search engines comes down to the basic functions of websites, search engines, and the collision of the two when generative AI gets in the mix. Basically, Anthropic instructs web crawlers, like those used by search engines like Google and Bing, not to index chats a user decides to share with other people. The company does this via something called a robots.txt file, which has long been considered the standard way to tell web scrapers what parts of a site are appropriate to access. Anthropic’s robots.txt has made “shared” chats off limits to web scrapers since at least September 2025, according to a snapshot on the Wayback Machine. But it’s harder to prevent pages from being included in search engine results than you might expect. Bing, which still shows “about 612 results” if you search “site: claude.ai/share ” at the time of this writing, says in its technical documentation that developers can block the search engine’s web crawlers using robots.txt—but that web developers should also include a “noindex” tag on individual pages as well. Some of the chats that showed up in search results flagged in the Reddit post were deleted by the time WIRED viewed them, and results no longer show up in Google when you search the “share” query that still worked on Bing. In a developer guide , Google says that it ignores robots.txt instructions if that page is linked to from elsewhere on the internet and the page owner doesn’t also include a special “noindex” html tag on the page or a “x-robots-tag” in the page’s response header. WIRED reviewed a sample of the exposed Claude chat pages and found that they did not include the “noindex” tag that both Bing and Google say they take into consideration when deciding whether or not to index a page. Microsoft, which owns Bing, did not provide comment ahead of publication. Anthropic did not respond to multiple requests for comment. Google spokesperson Ned Adriance tells WIRED that the indexing of shared Claude chats is Anthropic’s responsibility. “Neither Google nor any other search engine controls what pages are made public on the web, and these pages were indexed across many search engines,” Adriance says. “We give site owners clear controls to decide whether pages can be crawled or indexed, and we always respect those directives.” Anthropic didn’t respond to questions about why it didn’t include the “noindex” tag on the shared chat pages. Last September, Anthropic got heat for the same issue, and told Forbes that it uses robots.txt to let crawlers know they shouldn’t access the shared chats. But as the Forbes report points out, there’s no guarantee that will stop search engines from indexing specific web pages. Even if robots.txt doesn’t always work to prevent pages from being indexed on search engines, AI labs are still making use of it for other purposes. Many labs promise creators that their websites won’t be used as AI training fodder so long as the developers make sure to “disallow” certain crawlers in their robots.txt files, and the labs themselves take that advice as well. Anthropic, Meta, and OpenAI all include instructions in their chatbots’ robots.txt files that “disallow” their competitors’ web crawlers from accessing any part of the website where the chatbots are hosted. OpenAI and Meta did not respond to a request for comment about the practice. Google did not address WIRED’s questions about the fact that its competitors are blocking its AI training crawler, Google-Extended, from their chatbots’ sites. Though shared chats are no longer turning up in Google results, the pages WIRED reviewed still don’t have a “noindex” tag, meaning that they could potentially show up in search engines again. Claude users can go to Settings > Privacy > Shared chats to manage access—and keep their secret conversations private. Additional reporting by Andrew Couts.