챗봇과의 7분 대화, 음모론 믿음 감소에 팩트시트보다 효과적
카네기멜론, MIT, 코넬대 연구진이 두 차례 온라인 실험에서 단 7분가량의 LLM 대화가 정적 팩트시트보다 음모론 믿음을 더 효과적으로 줄이고, 수 주 후 새로운 사건에도 효과가 이어진다는 것을 확인했습니다. 모델은 알려진 사실이 적은 사건에서는 소크라테스식 질문과 지식의 한계 인정 등으로 전략을 바꾸는 적응적 설득을 보였습니다.
챗봇과의 7분 대화, 두 번의 실험에서 팩트시트를 이기고 음모론 믿음을 감소시켜
언어모델과의 짧은 대화는 확실한 증거가 부족한 위기 직후에도 음모론 믿음을 줄일 수 있으며, 그 효과는 수 주 후 새로운 사건에도 이어진다고 연구자들이 밝혔다.
2024년 7월 도널드 트럼프 암살 시도 후 일주일 이내에 미국 대표 표본의 약 절반이 그 사건이 연출되었다는 이야기를 접했고, 11%는 이를 믿었다. 2025년 9월 극우 활동가 찰리 커크 살해 후에는 모사드(Mossad) 개입, '거짓 깃발(false flag)' 작전, 정부 은폐에 관한 이론이 며칠 내 퍼졌다.
카네기멜론, MIT, 코넬대 연구자들의 새 연구는 그 정확한 시기에 대형 언어모델과의 짧은 대화가 이런 내러티브를 약화시킬 수 있는지 테스트했다. 두 사건 모두에서 답은 '그렇다'였고, 효과는 사건 자체를 넘어 확장되었다.
각 사건 직후 진행된 두 번의 온라인 실험
연구진은 설문 플랫폼을 통해 미국 성인을 모집하고, 이제 2년 이상 된 GPT-4o를 사용해 해당 사건에 대한 음모론 믿음을 표명한 참가자를 선별했다. 트럼프 실험에는 472명, 커크 실험에는 1,035명이 남았다.
기준 신념을 측정한 후 참가자들은 세 조건 중 하나에 무작위 배정되었다. 한 그룹은 증거 기반 대화로 음모론 믿음을 줄이라는 지시를 받은 Google Gemini(첫 실험은 2024년 2월 버전 1.5, 두 번째는 2025년 6월 버전 2.5)와 최소 5차례 주고받는 대화를 했다. 두 번째 그룹은 출처 인용이 포함된 정적 팩트시트를 받았다. 세 번째 그룹은 고양이와 개 중 어느 쪽이 더 좋은 반려동물인지에 관한 무관한 통제 대화를 나눴다.
두 사건 모두 사용된 모델들의 학습 데이터 마감 이후에 일어났기 때문에 어느 모델도 내부 지식에 의존할 수 없었다. 연구진은 시스템 프롬프트에 직접 큐레이션된 사실 기반을 구축했으며, 확인된 사실, 이미 반박된 주장, 미해결로 명시된 질문으로 나눴다. 커크 실험에서는 웹 검색도 허용됐지만 사실 확인 목적으로만 사용됐다.
대화가 정적 팩트시트를 이겼다
대화는 평균 약 7분 걸렸으며, 두 실험 모두에서 통제 조건과 팩트시트 대비 참가자 자신의 음모론에 대한 믿음을 감소시켰다. '은폐 또는 음모'와 '숨겨지거나 공개되지 않은 요인'에 관한 진술에 대한 동의도 떨어졌다.
트럼프 실험에서는 공식 설명에 대한 신뢰가 증가하지 않았다. 저자들은 당시 명확한 공식 설명이 존재하지 않았기 때문이라고 본다. 알려진 것이라고는 경호가 실패했다는 점뿐이었고, 연구가 집필될 때조차 총기의 동기는 불분명했다.
당국이 범인에 대한 세부정보를 이미 공유한 커크 실험에서는 공식 설명에 대한 신뢰가 통제 대화 대비 다소 상승했다. 팩트시트와의 차이는 유의미하지 않았다. 커크 대화는 정치적 폭력에 대한 지지에도 측정 가능한 효과가 없었다.
모델은 알려진 정보의 양에 따라 전략을 바꿨다
모델이 사람들을 어떻게 설득했는지 알아보기 위해 연구진은 모델의 응답을 개별 문장으로 나눠 분석했다. 모델은 확실하게 이용 가능한 증거에 명확히 적응했다.
총기의 동기나 배경이 거의 알려지지 않았던 트럼프 암살 시도의 경우, 모델은 고전적 음모론에서보다 합리적 설득을 덜 사용했다. 대신 자신의 지식 한계를 인정하고, 성급한 결론에 신중하라고 촉구하며, 사용자가 자신의 증거에 대해 스스로 생각하게 만드는 소크라테스식 질문을 던지고, 신뢰할 만한 출처를 안내했다.
정보가 더 많았던 커크 살해의 경우 접근 방식은 고전적 음모론에서와 유사했으며, 음모론적 사고가 사회에 끼치는 해악에 더 중점을 두었다.