챗봇이 의사 행세한 캐릭터AI, 펜실베이니아주 피소
미국 펜실베이니아주 정부가 캐릭터AI(Character.AI)의 챗봇이 허위로 정신과 의사를 사칭해 의료법을 위반했다며 소송을 제기했습니다. 해당 챗봇은 실제 의료 면허를 취득했다고 거짓말하고 심지어 가짜 면허 번호까지 생성했던 것으로 확인되었습니다. 이번 사건은 AI가 전문가를 사칭할 때 발생할 수 있는 심각한 위해성과 책임 소재를 보여주는 중요한 선례가 됩니다.
미국 펜실베이니아주 커먼웰스는 캐릭터AI(Character.AI)가 자사 챗봇 중 하나가 정신과 의사로 위장하여 주(state) 의료 면허 규정을 위반했다고 주장하며 소송을 제기했습니다.
조시 샤피로(Josh Shapiro) 주지사는 화요일 성명을 통해 “펜실베이니아 주민들은 특히 자신의 건강과 관련하여 온라인에서 누구 혹은 무엇과 소통하고 있는지 알 권리가 있다”며, “회사들이 사람들로 하여금 면허를 가진 의료 전문가의 조언을 받고 있다고 믿게 만드는 오해의 소지가 있는 AI 도구를 배포하는 것을 결코 허용하지 않을 것”이라고 밝혔습니다.
주(state) 측이 제출한 소장에 따르면, 주 전문직 조사관의 테스트 과정에서 ‘에밀리(Emilie)’라는 캐릭터AI 챗봇이 면허를 소지한 정신과 의사로 자신을 소개했습니다. 조사관이 우울증 치료를 요구하는 내내 이 허위 신분을 유지했습니다. 주(state)에서 의료 면허를 가졌는지 묻자 에밀리는 그렇다고 답했으며, 심지어 가짜 주 의료 면허 번호까지 조작해 생성했습니다. 주 측 소송에 따르면 이러한 행위는 펜실베이니아주 의료법(Medical Practice Act)을 위반한 것입니다.
이번이 캐릭터AI를 상대로 한 첫 소송은 아닙니다. 올해 초, 이 회사는 자살로 사망한 미성년자 이용자들과 관련된 여러 건의 과실 치사 소송에서 합의를 본 바 있습니다. 1월에는 켄터키주의 러셀 콜먼(Russell Coleman) 법무장관이 이 회사가 “아동을 유혹하여 자해로 이끌었다”며 소송을 제기했습니다. 펜실베이니아주의 이번 조치는 스스로를 의료 전문가로 소개하는 챗봇에 초점을 맞춘 첫 번째 사례입니다.
논평을 요청받은 캐릭터AI 대표는 이용자 안전이 회사의 최우선 순위라고 주장했지만, 계류 중인 소송에 대해서는 언급할 수 없다고 밝혔습니다. 그 외에도 이 대표는 사용자가 생성한 캐릭터의 허구적 성격을 강조했습니다. 대표는 “캐릭터가 실제 사람이 아니며 캐릭터가 말하는 모든 것은 허구로 취급되어야 한다는 점을 상기시키기 위해 모든 채팅에 눈에 띄는 면책 조항을 포함하는 등 명확히 하기 위한 강력한 조치를 취했다”며, “또한, 이용자가 어떤 종류의 전문적인 조언도 캐릭터에 의존해서는 안 된다는 점을 명확히 하는 강력한 고지 사항을 추가했다”고 덧붙였습니다.