메뉴
BL
r/ChatGPT 6일 전

AI가 조작된 가짜 질병을 실제로 진단한 사연

IMP
9/10
핵심 요약

스웨덴 연구원이 고의로 만들어낸 가짜 질병 '빅소니마니아(Bixonimania)'를 주요 AI 모델들이 실제 질병으로 오인하여 수천만 명에게 잘못된 의학 정보를 제공한 실험 결과입니다. 특히 AI가 생성한 허위 정보가 실제 동료 평가를 거친 유명 학술지에 인용될 정도로 의료 정보 생태계 전반의 오염이 심각하다는 사실을 입증했다는 점에서 매우 중요합니다.

번역된 본문

ChatGPT가 장난으로 만들어낸 질병으로 4,000만 명에게 진단을 내렸습니다. 이 질병은 실제 질병이 아닙니다. 오해된 질병도 아닙니다. 가짜 이름, 가짜 논문, 가짜 통계로 점철된 완전한 허구의 질환입니다. 그리고 AI는 환자들에게 전문의의 진료를 받으라고 권장했습니다.

이 질병의 이름은 '빅소니마니아(Bixonimania)'입니다. 예테보리 대학교(University of Gothenburg)의 스웨덴 연구원은 2024년 한 가지 질문에 답하기 위해 이 질병을 만들었습니다. 즉, 인터넷에 명백히 조작된 의학 정보를 심어두고 AI가 이를 어떻게 흡수하는지 관찰하면 어떤 일이 벌어질까? 였습니다.

그녀가 '빅소니마니아'라는 이름을 의도적으로 선택한 이유는 그 이름이 터무니없이 들렸기 때문입니다. '빅소니(Bixon)'는 아무 의미 없는 헛소리 단어이며, '마니아(mania)'는 정신과 용어로서, 정상적인 안과 질환이 결코 사용하지 않을 단어입니다. 그녀는 프리프린트 서버에 두 편의 논문을 업로드했습니다. 두 논문 모두 명백히 조작된 것이었습니다. 환자의 다크서클을 보여주는 AI 생성 이미지가 이 가짜 연구에 그럴듯한 외관을 입혀주었습니다. 그녀는 기다렸습니다.

오래 기다릴 필요는 없었습니다.

2024년 4월 13일까지 마이크로소프트 빙의 코파일럿(Copilot)은 빅소니마니아가 '흥미롭고 상당히 드문 질환'이라고 공식적으로 선언했습니다. 같은 날, 구글의 제미나이(Gemini)는 빅소니마니아가 과도한 블루라이트 노출로 인해 발생한다고 사용자들에게 알리고 안과의사의 진료를 받을 것을 권고했습니다. 그 달 말, 퍼플렉시티 AI(Perplexity AI)는 이 질병의 유병률을 설명하며 '9만 명 중 1명이 발생한다'고 주장했고, 오픈AI의 챗GPT는 사용자의 증상이 이 허구의 질환과 일치하는지 여부를 알려주었습니다.

9만 명 중 1명. 아주 정밀한 통계입니다. 존재하지도 않는 질병에 대한 통계 말입니다. 모든 위험 신호(레드플래그)가 보였습니다. 이름부터가 터무니없었습니다. 논문들은 조잡했습니다. 그 질환 자체가 과학적으로 전혀 말이 되지 않았습니다. 그러나 어떤 AI 시스템도 이를 경고하지 않았습니다. AI들은 가짜 논문을 읽고, 가짜 통계를 흡수한 뒤, 임상적 권위를 내세워 전혀 망설임 없이 이를 환자들에게 제시했습니다. 그리고 상황은 더 나빠졌습니다.

인도의 마하리시 마칸데쉬와르 의과학 연구소(Maharishi Markandeshwar Institute of Medical Sciences and Research)의 세 명의 연구원이 네이처(Nature)의 모출판사인 슈프링거 네이처(Springer Nature) 산하의 동료 평가 저널인 '큐어어스(Cureus)'에 논문을 게재했습니다. 놀랍게도 이 논문은 빅소니마니아 프리프린트를 정당한 출처로 인용했습니다.

실제 동료 평가를 거친 논문이었습니다. 슈프링거 네이처의 저널에 실렸습니다. 허구의 질병을 확립된 의학적 사실로 인용했습니다. 편집 심사를 통과했습니다. 영구적인 과학 기록으로 남았습니다. 이 논문은 속임수가 공개된 후에야 철회(Retract)되었습니다. 네이처는 이 실험에 대한 전면적인 조사 기사를 게재했습니다. 런던 대학교(University College London)의 건강 허위정보 연구원인 알렉스 루아니(Alex Ruani)는 이 사건을 '허위 정보가 어떻게 작동하는지 보여주는 모범 사례(Masterclass)'라고 불렀습니다.

이 사건이 의미하는 바의 규모는 다음과 같습니다.

오픈AI의 자체 분석에 따르면, 매일 4,000만 명 이상이 건강 정보를 얻기 위해 챗GPT에 의존합니다. 미국의 환자 안전 비영리 단체인 ECRI는 챗봇의 오용을 2026년 1위 건강 기술 위험 요소로 지정했습니다. ECRI의 보고서에 따르면, 챗봇은 잘못된 진단을 제시하고, 불필요한 검사를 권장하며, 비표준 의료용품을 홍보하고, 의학적 질문에 답변할 때 존재하지도 않는 신체 해부학적 구조를 만들어내기도 하는 것으로 나타났습니다.

모든 건강 기술 위험 요소 중 1위입니다.

원문 보기
원문 보기 (영어)
ChatGPT diagnosed 40 million people with a disease that was invented as a joke. Not a real disease. Not a misunderstood disease. A completely fictional condition with a fake name, fake papers, and fake statistics. And it told patients to see a specialist. The disease is called Bixonimania. A Swedish researcher at the University of Gothenburg invented it in 2024 to answer one question: what happens when you plant obviously fake medical information on the internet and watch AI absorb it? She deliberately chose the name bixonimania because it sounded ridiculous — bixon is a nonsense word, and mania is a psychiatric term that no legitimate eye condition would ever use. She uploaded two papers to a preprint server. Both were obviously fraudulent. AI-generated images of patients with dark circles gave the fake research a veneer of plausibility. Then she waited. She did not have to wait long. By April 13, 2024, Microsoft Bing's Copilot was declaring that bixonimania was an intriguing and relatively rare condition. On the same day, Google's Gemini was informing users that bixonimania was caused by excessive blue light exposure and advising them to visit an ophthalmologist. Later that month, Perplexity AI outlined its prevalence, one in 90,000 individuals were affected and OpenAI's ChatGPT was telling users whether their symptoms matched the fictional illness. One in 90,000. A precise statistic. For a disease that does not exist. Every red flag was visible. The name was absurd. The papers were crude. The condition made no scientific sense. None of the AI systems flagged any of it. They read the fake papers. They absorbed the fake statistics. They presented both to patients with clinical authority and zero hesitation. Then it got worse. Three researchers at the Maharishi Markandeshwar Institute of Medical Sciences and Research in India published a paper in Cureus, a peer-reviewed journal owned by Springer Nature, the parent publisher of Nature itself that cited the bixonimania preprints as legitimate sources. A real peer-reviewed paper. In a Springer Nature journal. Citing a fictional disease as established medical fact. Passing editorial review. Entering the permanent scientific record. It was only retracted after the hoax became public. Nature published a full investigation of the experiment. Alex Ruani, a health-misinformation researcher at University College London, called it a masterclass in how misinformation operates. Here is the scale of what this means. More than 40 million people turn to ChatGPT every day for health information, according to OpenAI's own analysis. ECRI, a US patient-safety nonprofit has named chatbot misuse the number-one health technology hazard of 2026. ECRI's report found that chatbots have suggested incorrect diagnoses, recommended unnecessary testing, promoted substandard medical supplies, and even invented nonexistent anatomy when responding to medical questions. Number one. Out of every health technology hazard t