메뉴
BL
TechCrunch AI 23일 전

OpenAI, 자해 위험 시 '신뢰할 수 있는 연락처' 알림 기능 도입

IMP
7/10
핵심 요약

OpenAI는 사용자가 ChatGPT와의 대화에서 자해 충동을 보일 경우, 사전에 지정된 가족이나 친구에게 자동으로 알림을 보내는 '신뢰할 수 있는 연락처(Trusted Contact)' 기능을 새롭게 출시했습니다. 자동화 시스템과 인간 검토자가 1시간 이내에 위험 상황을 판단하여 신속하게 대처할 수 있도록 설계되었습니다. 이는 최근 챗봇과의 대화 후 자살한 사용자의 가족들이 제기한 소송에 대응하고 사용자의 생명을 보호하기 위한 안전 장치로 평가됩니다.

번역된 본문

목요일, OpenAI는 대화 중 자해 생각이 표현될 경우 신뢰할 수 있는 제3자에게 경고를 보내기 위해 설계된 새로운 기능인 '신뢰할 수 있는 연락처(Trusted Contact)'를 발표했습니다. 이 기능을 통해 성인 ChatGPT 사용자는 친구나 가족 구성원 등 다른 사람을 계정 내의 신뢰할 수 있는 연락처로 지정할 수 있습니다. 대화 중 자해 주제가 오갈 경우, OpenAI는 이제 사용자에게 해당 연락처에 도움을 요청하도록 권장합니다. 또한 지정된 연락처에 자동 알림을 보내 사용자에게 안부를 묻고 상태를 확인하도록 유도합니다.

OpenAI는 최근 자사 챗봇과 대화한 뒤 자살한 사람들의 가족으로부터 거센 소송을 받아왔습니다. 여러 사례에서 가족들은 ChatGPT가 사랑하는 사람이 자살하도록 조장하거나 심지어 자살 계획을 세우는 것을 도왔다고 주장했습니다. OpenAI는 현재 잠재적으로 유해한 사건을 처리하기 위해 자동화 및 인간 검토를 결합한 방식을 사용하고 있습니다. 특정 대화 트리거는 자살 충동으로 회사 시스템에 경고를 보내며, 이 정보는 인간 안전 팀에 전달됩니다. 회사는 이러한 종류의 통지를 받을 때마다 인간에 의해 사건이 검토된다고 밝혔습니다.

회사는 "이러한 안전 알림을 1시간 이내에 검토하기 위해 노력하고 있습니다"라고 말했습니다. OpenAI의 내부팀이 상황이 심각한 안전 위험을 나타낸다고 판단하면, ChatGPT는 이메일, 문자 메시지 또는 인앱 알림을 통해 신뢰할 수 있는 연락처에 경고를 보냅니다. 회사에 따르면 이 알림은 사용자의 개인정보를 보호하는 수단으로, 논의된 내용에 대한 자세한 정보는 포함하지 않고 간결하게 구성되어 연락처가 해당 사용자에게 연락하도록 권장하는 데 목적이 있습니다.

신뢰할 수 있는 연락처 기능은 작년 9월에 도입된 안전 장치를 잇는 것으로, 이전 조치는 부모에게 자녀의 계정에 대한 감독권을 부여했습니다. 여기에는 OpenAI 시스템이 자녀가 '심각한 안전 위험'에 직면했다고 판단할 경우 부모에게 경고하기 위한 안전 알림 수신이 포함됩니다. 한동안 ChatGPT는 대화가 자해 주제로 흘러갈 경우 전문 건강 서비스를 찾도록 자동 경고를 포함해 왔습니다. 무엇보다 신뢰할 수 있는 연락처 기능은 선택 사항이며, 특정 계정에서 보호 기능이 활성화되더라도 모든 사용자가 여러 개의 ChatGPT 계정을 가질 수 있습니다. OpenAI의 자녀 보호 기능 역시 선택 사항으로 유사한 한계를 보여줍니다.

회사는 공지 게시물에서 "신뢰할 수 있는 연락처는 사람들이 어려운 시기에 도움을 받을 수 있도록 지원하는 AI 시스템을 구축하려는 OpenAI의 광범위한 노력의 일환입니다"라고 적었습니다. "우리는 사람들이 고통을 겪고 있을 때 AI 시스템이 어떻게 대응하는지 개선하기 위해 임상의, 연구원 및 정책 입안자들과 계속해서 협력할 것입니다."

(기사 하단에는 본문과 무관한 TechCrunch 행사 안내 및 필자 소개가 포함되어 있으나 생략합니다.)

원문 보기
원문 보기 (영어)
On Thursday OpenAI announced a new feature called Trusted Contact, designed to alert a trusted third-party if ideations of self-harm are expressed within a conversation. The feature allows an adult ChatGPT user to designate another person as a trusted contact within their account, such as a friend or family member. In cases where a conversation may turn to self-harm, OpenAI will now encourage the user to reach out to that contact. It also sends an automated alert to the contact, encouraging them to check in with the user. OpenAI has faced a wave of lawsuits from the families of people who have committed suicide after talking with its chatbot. In a number of cases, the families say ChatGPT encouraged their loved one to kill themselves—or even helped them plan it out . OpenAI currently uses a combination of automation and human review to handle potentially harmful incidents. Certain conversational triggers alert the company's system to suicidal ideations, which then relay the information to a human safety team. The company claims that every time it receives this kind of notification, the incident is reviewed by a human. "We strive to review these safety notifications in under one hour," the company says. If OpenAI's internal team decides that the situation represents a serious safety risk, ChatGPT proceeds to send the trusted contact an alert—either by email, text message, or an in-app notification. The alert is designed to be brief and to encourage the contact to check in with the person in question. It does not include detailed information about what was being discussed, as a means of protecting the user's privacy, the company says. The Trusted Contact feature follows the safeguards the company introduced last September that gave parents the power to have some oversight of their teens' accounts, including the reception of safety notifications designed to alert the parent if OpenAI's system believes their child is facing a "serious safety risk." For some time now, ChatGPT has also included automated alerts to seek professional health services, should a conversation trend towards the topic of self harm. Crucially, Trust Contact is optional and, even if the protection is activated on a particular account, any user can have multiple ChatGPT accounts. OpenAI's parental controls are also optional, presenting a similar limitation. "Trusted Contact is part of OpenAI’s broader effort to build AI systems that help people during difficult moments ," the company wrote in the announcement post. "We will continue to work with clinicians, researchers, and policymakers to improve how AI systems respond when people may be experiencing distress." Techcrunch event This Week Only: Buy one pass, get the second at 50% off Your next round. Your next hire. Your next breakout opportunity. Find it at TechCrunch Disrupt 2026, where 10,000+ founders, investors, and tech leaders gather for three days of 250+ tactical sessions, powerful introductions, and market-defining innovation. Register before May 8 to bring a +1 at half the cost. This Week Only: Buy one pass, get the second at 50% off Your next round. Your next hire. Your next breakout opportunity. Find it at TechCrunch Disrupt 2026, where 10,000+ founders, investors, and tech leaders gather for three days of 250+ tactical sessions, powerful introductions, and market-defining innovation. Register before May 8 to bring a +1 at half the cost. San Francisco, CA | October 13-15, 2026 REGISTER NOW Topics AI , AI , ChatGPT , OpenAI , TC When you purchase through links in our articles, we may earn a small commission . This doesn’t affect our editorial independence. Lucas Ropek Senior Writer, TechCrunch Lucas is a senior writer at TechCrunch, where he covers artificial intelligence, consumer tech, and startups. He previously covered AI and cybersecurity at Gizmodo. You can contact Lucas by emailing lucas.ropek@techcrunch.com. View Bio May 27 Athens, Greece StrictlyVC Athens is up next. Hear unfiltered insights straight from Europe’s tech leaders and connect with the people shaping what’s ahead. Lock in your spot before it’s gone. REGISTER NOW Most Popular reMarkable's new Paper Pure tablet goes back to basics with a monochrome screen Ivan Mehta As workers worry about AI, Nvidia's Jensen Huang says AI is ‘creating an enormous number of jobs' Lucas Ropek Anthropic and OpenAI are both launching joint ventures for enterprise AI services Russell Brandom Ouster's new color lidar is coming to replace cameras Sean O'Kane We'll take it: A TikToker rallies pledges to buy Spirit Airlines after its abrupt weekend collapse Connie Loizos This tiny, magnetic e-reader could stop you from doomscrolling Amanda Silberling Uber wants to turn its millions of drivers into a sensor grid for self-driving companies Connie Loizos
관련 소식