메뉴
BL
Wired AI 47일 전

일론 머스크 '그록', 유명인 성적 딥페이크 여전히 생성·호스팅

IMP
8/10
핵심 요약

일론 머스크의 xAI가 유해한 성적 딥페이크 방지 조치를 약속했음에도 불구하고, 그록(Grok) 챗봇을 통해 유명 여성 연예인과 정치인의 성적이고 비동의적인 딥페이크 이미지와 영상이 계속해서 생성되고 호스팅되고 있습니다. WIRED의 조사 결과 공개된 수백 개의 링크 중 수십 건이 온라인에 유통되고 있었으며, 경쟁사인 OpenAI나 구글 등에서는 차단하는 프롬프트 역시 그록에서는 무시되는 것으로 나타났습니다. 이는 AI 생성 도구의 안전장치 부재 및 기술 윤리의 심각한 후퇴를 보여주는 사례로, 실무자 및 정책 입안자들에게 매우 중요한 이슈입니다.

번역된 본문

일론 머스크의 AI 기업 xAI가 유해한 성적 딥페이크 생성을 막기 위한 제한 조치를 도입하겠다고 발표한 지 수개월이 지났음에도 여전히 그록(Grok) 챗봇이 비동의적인 여성의 노골적인 이미지와 비디오를 제작하고 호스팅하는 데 사용되고 있습니다. 이러한 사실은 xAI의 모회사인 스페이스X가 역대 최대 규모의 상장(IPO) 중 하나로 금요일에 상장을 준비하면서 밝혀졌습니다.

WIRED의 공개 작업물 분석 결과, 그록 이미지(Grok Imagine) 생성 AI 시스템을 사용하여 거대한 남자에게 억류된 유명인 및 최소 1명의 정치인을 묘사하거나, 여성이 성행위를 하는 것으로 묘사하고 완전한 나체를 허용하는 이미지와 영상이 제작되어 호스팅되고 있습니다. 일부 이미지와 영상은 완전히 AI 생성되었거나 애니메이션 스타일이지만, 다른 일부는 사실적인 사진처럼 보이며 실제 일어날 법한 시나리오를 보여줍니다.

WIRED는 Grok.com에 호스팅된 수백 개의 공개 '그록 이미지' 링크를 검토했으며, 그 중 수십 개가 피험자의 동의 없이 만들어진 것을 포함해 성적이고 노골적인 AI 이미지와 영상으로 이어지는 것을 발견했습니다. Grok.com에서 생성된 일부 링크는 최근 며칠 동안을 포함해 X(예전 트위터)에서 공유되었습니다. 생성 시간 타임스탬프가 표시되지 않는 이 게시물들은 아마도 그록 이미지 시스템을 사용하는 사람들이 만들고 있는 콘텐츠의 일부에 불과할 것으로 보이는데, 기본적으로 생성된 작업물이 공개되지 않는 설정이기 때문입니다.

다른 생성형 AI 시스템들보다 그록이 훨씬 더 허술한 안전장치를 가지고 있습니다. 지난 10년 동안 온라인 명시적 AI 콘텐츠를 추적해 온 딥페이크 전문가 헨리 아지더(Henry Ajder)는 “그록과 X가 모델에 일부 수정을 가했을 수 있지만, 특히 올해 초 노출 합성 사태에 대한 비판 이후에도 여전히 사용 가능한 다른 주류 도구의 기준에 미치지 못하는 수준”이라고 말했습니다.

머스크의 xAI는 올해 1월 X의 그록 구현이 쏟아지는 '옷 벗기기(nudification)' 이미지를 만드는 데 사용된 이후 전 세계 규제 당국의 조사와 소송에 직면했습니다. X의 사용자들(주로 남성)은 챗봇에게 여성을 '비키니'나 '스트링 비키니' 차림으로 수정해 달라고 요청했습니다. 3월 캘리포니아 연방 법원에 제기된 집단 소송에 따르면 일부 경우 명백한 미성년자의 이미지도 성적인 대상으로 만들어진 것으로 알려졌습니다.

그 이후 xAI는 비동의적이고 성적인 딥페이크의 생성을 제한하고 방지하기 위해 안전 조치를 도입했다고 밝혔습니다. 이 회사는 아동 성학대물(CSAM)이 플랫폼에서 엄격히 금지된다고 일관되게 말해왔습니다. xAI와 X는 WIRED의 Grok.com에 호스팅된 성적 콘텐츠들에 대한 코멘트 요청에 즉시 응답하지 않았습니다. WIRED가 기업들에 연락한 후, WIRED가 발견한 명시적 이미지와 영상은 더 이상 사용할 수 없는 상태가 되었으며, X에 공유된 그록 이미지 링크 역시 정책 위반으로 삭제되었습니다.

X의 안전 계정은 성적 딥페이크가 여전히 생성되고 있다는 NBC 보도에 대응하여 지난 4월에 “우리는 사용자가 비동의적인 명시적 딥페이크를 생성하거나 우리의 도구를 사용하여 실제 인물의 옷을 벗기는 행위를 엄격히 금지합니다”라고 밝혔습니다.

Grok.com에 호스팅된 게시물 중에서 WIRED는 여러 유명인과 미국 하원의원 알렉산드리아 오카시오-코르테즈(Alexandria Ocasio-Cortez)를 묘사한 이미지와 영상을 확인했습니다. (오카시오-코르테즈의 대변인들은 즉시 WIRED의 코멘트 요청에 응답하지 않았습니다.) 영상 속 여성들은 옷을 거의 입지 않은 채 남자의 '거대한' 손에 쥐어져 있는 것으로 묘사되었습니다. 한 프롬프트는 유명인이 '그에게 이러지 말아 달라고 애원하면서' 자신의 의지에 반해 붙잡혀 있는 모습을 묘사합니다. 여기에는 덧붙이기를 “거대한 손아귀가 그녀를 꽉 쥐고 제자리에 못 박아두며, 그녀를 쥐고 있는 거대한 남자가 몸을 숙여 그녀의 얼굴을 위아래로 핥는다”고 서술되어 있습니다.

WIRED가 테스트해 본 결과, 그록에서 자료를 생성하는 데 사용된 두 개의 프롬프트는 OpenAI의 챗GPT, 메타 AI, 그리고 앤스로픽(Anthropic)의 클로드(Claude)에서는 부적절한 것으로 간주되어 거부되었습니다. 반면 구글의 제미나이(Gemini)는 하나의 이미지를 생성했습니다.

원문 보기
원문 보기 (영어)
Comment Loader Save Story Save this story Comment Loader Save Story Save this story Elon Musk’s Grok chatbot is apparently still being used to produce and host nonconsensual explicit images and videos of women, months after Musk’s artificial intelligence firm xAI said it would introduce restrictions to stop the creation of potentially harmful sexualized deepfakes. The revelations come as SpaceX , xAI’s parent company, prepares to go public on Friday in one of the largest IPOs of all time. The Grok Imagine generative AI system has been used to create and host images and videos depicting celebrities and at least one politician being held against their will by a giant man, portraying women performing sex acts, and allowing full nudity, a WIRED analysis of public creations found. While some of the images and videos are fully AI-generated or in animated styles, others are photorealistic and show plausible real-world scenarios. WIRED reviewed hundreds of public Grok Imagine links hosted on Grok.com and found dozens led to sexualized AI images and videos, including those created without the subject’s consent. Some links created on Grok.com were subsequently shared on X, including in recent days. The posts, which do not show time stamps of when they were created, are likely just a snapshot of what is being created by people using the Grok Imagine system, as generations do not appear to be made public by default. Other generative AI systems deploy more safety guardrails than Grok, which is available on its own website and on X. “While Grok and X may have made some amendments to their model, particularly following the backlash around nudification at the beginning of the year, they still have not done a sufficient job to bring it up to the standard of the other mainstream tools that are available,” says Henry Ajder, an expert on deepfakes who has tracked explicit AI content online for the best part of a decade. Musk’s xAI has faced a wave of lawsuits and scrutiny from regulators around the world since January, when the Grok implementation on X was used to create a flood of “nudification” images . People on X—primarily men—asked the chatbot to edit images to show women in “bikinis” or “string bikinis.” In some instances, images of apparent minors were allegedly also sexualized, according to a class-action lawsuit filed in California federal court in March. Since then, xAI has said it has introduced safeguards to limit and prevent the creation of nonconsensual and sexualized deepfakes. The company has consistently said child sexual abuse material (CSAM) is banned on its platform. Neither xAI nor X immediately responded to WIRED’s request for comment on the raft of sexualized images hosted on Grok.com. After WIRED contacted the companies, the explicit images and videos WIRED found hosted on Grok.com appeared as no longer being available, and Grok Imagine links shared on X were removed for policy violations. “We strictly prohibit users from generating nonconsensual explicit deepfakes and from using our tools to undress real people,” the safety account on X said in April in response to an NBC report about sexual deepfakes still being created. Among the posts hosted on Grok.com, WIRED identified images and videos depicting multiple celebrities as well as US representative Alexandria Ocasio-Cortez. (Spokespeople for Ocasio-Cortez did not immediately respond to WIRED’s request for comment). In the videos, the women were depicted wearing little clothing while being held in the fist of a man’s “giant” hand. One prompt describes a celebrity being held against her will as she “pleads for him not to do this.” It adds: “The giant hand’s grip on her tightens, holding her in place as the giant man holding her leans in and licks her face up and down.” Two prompts that were used to generate material on Grok were rejected by OpenAI’s ChatGPT, Meta AI, and Anthropic’s Claude as inappropriate when tested by WIRED. Google’s Gemini did create an image of one celebrity being held in the hand of a giant, though it rejected another prompt. Google declined to comment. One Grok Imagine video, which was also posted to X, appeared to depict Ashley St. Clair altered to be dancing in a bikini. St. Clair was previously in a relationship with Musk and is mother to one of his children. In January, she started legal action against xAI after sexualized deepfakes of her allegedly appeared on X. After WIRED contacted X, the post was removed from the social media platform for violating its rules. Legal representatives for St. Clair in the X case did not immediately respond to the request for comment. “Elon Musk knowingly added a perverse feature to his platform that helps users undress women and children at the click of a button, with no regard for the predictable damage it would cause,” claims Imran Ahmed, the CEO and founder of the Center for Countering Digital Hate, which in January estimated with a high degree of confidence that Grok created 3 million sexualized images, allegedly including more than 20,000 of children. “Now it appears explicit content is still being hosted on Grok and shared on X, including images ridiculing the mother of Musk’s child.” Unlike other generative AI systems from OpenAI and Google, Musk’s Grok and xAI have not backed away from allowing sexual content in general, having previously introduced “Spicy" and “Unhinged” modes and initially included fewer safety guardrails. Musk has stated Grok is “supposed [to] allow upper body nudity of imaginary adult humans” and be consistent with what viewers might see in ​​R-rated movies. The most recent terms of service from xAI say the system may respond with “sexual situations.” However, the company’s documentation says it does not allow people to use its systems for “causing harm or engaging in abusive activity.” Other Grok Imagine videos seen by WIRED show women, which are likely entirely AI generated, undressing or involved in sexual acts—some being entirely explicit. The user prompts for many of the videos do not necessarily directly describe sexual acts, but they describe them in roundabout ways—a likely attempt to circumvent safeguards that are deployed on the Grok platform. Multiple researchers tell WIRED that since January it appears that changes introduced by X and Grok have made it harder to create “nudification” or “undress” images of real people. The number of these images being posted to X has appeared to decrease in the recent months. On Reddit and one dedicated AI deepfake forum, users have complained about increased moderation from the SpaceX-owned companies. Nevertheless, in May, SpaceX warned potential investors that it has set aside $530 million to handle ongoing legal complaints, including those linked to Grok. “Because these modes may be more irreverent and harsher than our standard offerings, they present heightened risks, including reputational harm, the generation of potentially explicit content and misinformation or deceptive outputs, potential nonconsensual or exploitative imagery, intellectual property infringement, or content that could be viewed as exploitative, harmful, harassing, abusive, or discriminatory,” its filing in May said. Ahead of SpaceX’s IPO on Friday, the Privacy Commissioner of Canada published its preliminary findings of an investigation into xAI and Grok’s deepfake transgressions in January. The investigation alleged xAI violated Canada’s federal private-sector privacy law by not including “appropriate safeguards from the outset.” The investigation says xAI told the Privacy Commissioner that it has introduced new safeguards to prevent people from successfully prompting Grok to alter clothing in images and that xAI has introduced “further proactive checks” of social media websites to find infringing content. However, the investigation says the Privacy Commissioner is not convinced by the changes. “The respondents have not, to date, demonstrated the effectiveness of these safeguards in