클로드 비공개 대화 내용이 구글 검색에 노출된 사건
최근 앤스로픽의 AI 봇인 '클로드'에서 사용자들이 공유한 대화 내역이 구글과 빙 같은 주요 검색 엔진에 색인되어 누구나 쉽게 볼 수 있는 사고가 발생했습니다. 앤스로픽은 robots.txt 파일을 통해 검색 엔진 크롤러의 접근을 막았지만, 개별 웹페이지에 'noindex' 태그를 추가하지 않아 결국 검색 결과에 노출되는 치명적인 기술적 허점을 보인 것입니다. 이 사건은 생성형 AI 도구에서 사용자가 공유하는 데이터가 검색 엔진 등 외부 경로를 통해 어떻게 의도치 않게 대규모 유출될 수 있는지 보여주는 중요한 보안 사례입니다.
당신과 AI 챗봇 사이에서 일어난 일이 항상 둘만의 비밀로 남는 것은 아닙니다. 구글에게 물어보세요. 주말 동안 사람들은 일부 앤스로픽 클로드(Anthropic Claude) 대화 내용이 웹 검색을 통해 쉽게 발견될 수 있다는 사실에 놀랐습니다. 레딧(Reddit) 사용자에 의해 처음 보고된 이 문제는, 사람들이 가입해야 할 정당에 대한 조언을 구하거나, 캔자스 주 변호사들이 윤리 위반을 저질렀다고 믿을 때 자발적으로 보고해야 하는지 묻거나, 에로틱한 롤플레이를 하는 등 민감한 대화 내용을 포함하고 있었습니다.
클로드는 특정 챗봇 스레드에 대한 공개 URL을 생성함으로써 사용자가 다른 사람과 대화의 '스냅샷'을 공유할 수 있도록 허용합니다. 이러한 일부 URL이 주요 검색 엔진에 의해 색인된 이유는 웹사이트와 검색 엔진의 기본 기능, 그리고 이 둘이 생성형 AI와 얽힐 때 발생하는 충돌 때문입니다. 기본적으로 앤스로픽은 구글 및 빙과 같은 검색 엔진에서 사용하는 웹 크롤러에게 사용자가 공유하기로 한 대화를 색인하지 말 것을 지시합니다. 회사는 오랫동안 웹 스크래퍼에게 사이트의 어느 부분에 접근하는 것이 적절한지 알려주는 표준으로 간주되어 온 'robots.txt' 파일을 통해 이를 수행합니다. 웨이백 머신(Wayback Machine)의 스냅샷에 따르면, 앤스로픽의 robots.txt 파일은 2025년 9월 이후로 공유된 대화를 웹 스크래퍼가 접근할 수 없도록 설정되어 있었습니다.
하지만 페이지가 검색 엔진 결과에 노출되는 것을 막는 것은 생각보다 어렵습니다. 이 글을 작성하는 시점 기준으로 "site:claude.ai/share"를 검색하면 여전히 약 612개의 결과를 보여주는 빙(Bing)은 기술 문서에서 개발자가 robots.txt를 사용하여 검색 엔진의 웹 크롤러를 차단할 수 있지만, 웹 개발자는 개별 페이지에도 'noindex' 태그를 포함해야 한다고 명시하고 있습니다. 레딧 게시물에서 검색 결과에 나타난다고 지적된 대화 중 일부는 WIRED가 확인했을 때 이미 삭제되었으며, 빙에서는 여전히 작동하는 '공유' 쿼리 검색을 해도 구글에서는 더 이상 결과가 나타나지 않습니다.
구글은 개발자 가이드를 통해, 해당 페이지가 인터넷의 다른 곳에서 링크되어 있고 페이지 소유자가 페이지에 특별한 'noindex' HTML 태그를 포함하거나 페이지 응답 헤더에 'x-robots-tag'를 포함하지 않는 경우 robots.txt 지시를 무시한다고 밝힙니다. WIRED는 노출된 클로드 채팅 페이지 샘플을 검토했으며, 빙과 구글 모두 페이지 색인 여부를 결정할 때 고려한다고 밝힌 'noindex' 태그가 해당 페이지에 포함되어 있지 않다는 것을 발견했습니다.
빙을 소유한 마이크로소프트는 기사 게재 전에 코멘트를 제공하지 않았습니다. 앤스로픽 역시 여러 차례의 코멘트 요청에 응답하지 않았습니다. 구글의 대변인 네드 아드리안스(Ned Adriance)는 WIRED에 공유된 클로드 대화 내용이 색인된 것은 앤스로픽의 책임이라고 말합니다. 아드리안스는 "구글이나 다른 어떤 검색 엔진도 웹에서 공개되는 페이지를 통제하지 않으며, 이러한 페이지들은 여러 검색 엔진에 걸쳐 색인되었습니다. 우리는 사이트 소유자에게 페이지를 크롤링하거나 색인할 수 있는지 여부를 결정할 수 있는 명확한 권한을 부여하며, 우리는 항상 그러한 지시를 존중합니다."라고 말합니다. 앤스로픽은 공유 채팅 페이지에 'noindex' 태그를 포함하지 않은 이유에 대한 질문에 응답하지 않았습니다.
지난해 9월에도 앤스로픽은 같은 문제로 비판을 받았으며, 당시 포브스(Forbes)에 크롤러들이 공유된 대화에 접근하지 못하도록 robots.txt를 사용하고 있다고 밝혔습니다. 하지만 포브스 보고서가 지적하듯, 이것이 특정 웹 페이지가 검색 엔진에 색인되는 것을 막을 것이라는 보장은 없습니다. 비록 robots.txt가 페이지가 검색 엔진에 노출되는 것을 항상 완벽히 방지하지는 못할지라도, AI 연구소들은 여전히 다른 목적을 위해 이를 활용하고 있습니다. 많은 연구소들은 개발자가 자신의 robots.txt 파일에서 특정 크롤러를 '허용하지 않음(disallow)'으로 설정하는 한, 자신의 웹사이트가 AI 학습 데이터로 사용되지 않을 것이라고 창작자들에게 약속하며, 연구소들 스스로도 이 조언을 따르고 있습니다. 앤스로픽, 메타(Meta), 오픈AI(OpenAI)는 모두 자사 챗봇의 robots.txt 파일에 경쟁사의 웹 크롤러가 접근하는 것을 '허용하지 않음'으로 설정하는 지시를 포함하고 있습니다.