OpenAI, 자해 위험 시 '신뢰할 수 있는 연락처' 알림 기능 도입
OpenAI는 사용자가 ChatGPT와의 대화에서 자해 충동을 보일 경우, 사전에 지정된 가족이나 친구에게 자동으로 알림을 보내는 '신뢰할 수 있는 연락처(Trusted Contact)' 기능을 새롭게 출시했습니다. 자동화 시스템과 인간 검토자가 1시간 이내에 위험 상황을 판단하여 신속하게 대처할 수 있도록 설계되었습니다. 이는 최근 챗봇과의 대화 후 자살한 사용자의 가족들이 제기한 소송에 대응하고 사용자의 생명을 보호하기 위한 안전 장치로 평가됩니다.
목요일, OpenAI는 대화 중 자해 생각이 표현될 경우 신뢰할 수 있는 제3자에게 경고를 보내기 위해 설계된 새로운 기능인 '신뢰할 수 있는 연락처(Trusted Contact)'를 발표했습니다. 이 기능을 통해 성인 ChatGPT 사용자는 친구나 가족 구성원 등 다른 사람을 계정 내의 신뢰할 수 있는 연락처로 지정할 수 있습니다. 대화 중 자해 주제가 오갈 경우, OpenAI는 이제 사용자에게 해당 연락처에 도움을 요청하도록 권장합니다. 또한 지정된 연락처에 자동 알림을 보내 사용자에게 안부를 묻고 상태를 확인하도록 유도합니다.
OpenAI는 최근 자사 챗봇과 대화한 뒤 자살한 사람들의 가족으로부터 거센 소송을 받아왔습니다. 여러 사례에서 가족들은 ChatGPT가 사랑하는 사람이 자살하도록 조장하거나 심지어 자살 계획을 세우는 것을 도왔다고 주장했습니다. OpenAI는 현재 잠재적으로 유해한 사건을 처리하기 위해 자동화 및 인간 검토를 결합한 방식을 사용하고 있습니다. 특정 대화 트리거는 자살 충동으로 회사 시스템에 경고를 보내며, 이 정보는 인간 안전 팀에 전달됩니다. 회사는 이러한 종류의 통지를 받을 때마다 인간에 의해 사건이 검토된다고 밝혔습니다.
회사는 "이러한 안전 알림을 1시간 이내에 검토하기 위해 노력하고 있습니다"라고 말했습니다. OpenAI의 내부팀이 상황이 심각한 안전 위험을 나타낸다고 판단하면, ChatGPT는 이메일, 문자 메시지 또는 인앱 알림을 통해 신뢰할 수 있는 연락처에 경고를 보냅니다. 회사에 따르면 이 알림은 사용자의 개인정보를 보호하는 수단으로, 논의된 내용에 대한 자세한 정보는 포함하지 않고 간결하게 구성되어 연락처가 해당 사용자에게 연락하도록 권장하는 데 목적이 있습니다.
신뢰할 수 있는 연락처 기능은 작년 9월에 도입된 안전 장치를 잇는 것으로, 이전 조치는 부모에게 자녀의 계정에 대한 감독권을 부여했습니다. 여기에는 OpenAI 시스템이 자녀가 '심각한 안전 위험'에 직면했다고 판단할 경우 부모에게 경고하기 위한 안전 알림 수신이 포함됩니다. 한동안 ChatGPT는 대화가 자해 주제로 흘러갈 경우 전문 건강 서비스를 찾도록 자동 경고를 포함해 왔습니다. 무엇보다 신뢰할 수 있는 연락처 기능은 선택 사항이며, 특정 계정에서 보호 기능이 활성화되더라도 모든 사용자가 여러 개의 ChatGPT 계정을 가질 수 있습니다. OpenAI의 자녀 보호 기능 역시 선택 사항으로 유사한 한계를 보여줍니다.
회사는 공지 게시물에서 "신뢰할 수 있는 연락처는 사람들이 어려운 시기에 도움을 받을 수 있도록 지원하는 AI 시스템을 구축하려는 OpenAI의 광범위한 노력의 일환입니다"라고 적었습니다. "우리는 사람들이 고통을 겪고 있을 때 AI 시스템이 어떻게 대응하는지 개선하기 위해 임상의, 연구원 및 정책 입안자들과 계속해서 협력할 것입니다."
(기사 하단에는 본문과 무관한 TechCrunch 행사 안내 및 필자 소개가 포함되어 있으나 생략합니다.)