메뉴
BL
404 Media 11일 전

실시간 딥페이크로 미스터비스트 행세, 논란

IMP
8/10
핵심 요약

실시간 딥페이크 앱 'Delulu'를 악용해 한 스트리머가 유명 인플루언서로 위장해 성희롱 및 혐오 발언을 해 큰 논란이 일었습니다. 이 사건은 저비용 고효율의 실시간 AI 변장 기술이 악용될 경우 심각한 명예훼손과 딥페이크 범죄로 이어질 수 있음을 보여줍니다. 따라서 스트리밍 플랫폼 및 AI 개발사의 실시간 모델에 대한 적절한 사용 정책과 규제 마련이 시급한 과제로 떠올랐습니다.

번역된 본문

사용자의 외모를 실시간으로 딥페이크할 수 있는 앱이 등장했고, 예측 가능하게도 한 스트리머가 동의 없이 타인의 초상을 도용해 명예를 훼손할 수 있는 콘텐츠를 제작했습니다. 구체적으로 이 스트리머는 자신의 모습을 유튜버 미스터비스트(Mr. Beast)로 변조한 뒤 "나는 어린 소년의 성기를 만지는 것을 좋아한다"는 막발언을 서슴지 않았습니다.

소위 '장난(Prank)'이라는 명목하에 사람들을 괴롭히는 영상과 스트리밍으로 악명 높은 영국 인터넷 방송인 샘 페퍼(Sam Pepper)는 여러 플랫폼에서 정지를 먹은 전력이 있음에도 불구하고, 느슨한 규제로 유명한 트위치의 경쟁 스트리밍 플랫폼인 킥(Kick)에서 이 실시간 딥페이크 앱을 사용했습니다. 처음에 페퍼는 일반인 여성으로 보이는 모습으로 변장했으나, 곧이어 미스터비스트, 제프리 엡스타인, 아무란스(Amouranth), 시드니 스위니 등 실존 인물의 모습으로 외모를 바꿨습니다. 여성으로 변장했을 때 페퍼는 AI로 생성된 자신의 신체를 카메라에 노출하고 옷을 들어 올린 뒤 AI로 만들어진 가슴을 만지는 행동을 보이기도 했습니다.

페퍼가 사용한 앱은 'Delulu(덜루)'라고 불리며, 앱 내에서 '스킨(Skin)'이라고 부르는 메뉴를 통해 유명인의 모습으로 변장할 수 있는 기능을 제공합니다. 이 스킨들의 상당수는 Delulu 사용자들이 직접 만든 것입니다. 사용자들은 동물, 만화 캐릭터, 가상 인물은 물론 조지 플로이드 같은 실존 인물, 도널드 트럼프나 블라디미르 푸틴 같은 정치인, 킴 카다시안이나 에미넴 같은 연예인의 모습으로도 변장할 수 있습니다. 해당 사이트에는 성인 배우들의 스킨도 다수 포함되어 있습니다. 외모를 바꾸기 위해 사용자가 해야 할 일은 앱에 카메라 접근 권한을 부여하고 스킨 중 하나를 클릭하는 것이 전부입니다.

Civitai 등 커스텀 AI 모델을 공유하는 다른 플랫폼이나 커뮤니티와 마찬가지로, Delulu 역시 사용자가 직접 자신만의 모델을 만들고 공유할 수 있도록 허용합니다. 페퍼가 스트리밍에서 보여준 모든 스킨은 사용자가 직접 생성한 것으로 보입니다. 이 앱의 완성도는 다른 실시간 딥페이크 소프트웨어에 비해 다소 떨어지지만, 무료인 데다가 사용법이 매우 간단합니다. 예를 들어, 최근 사기꾼들을 타겟으로 판매되는 중국어 기반의 실시간 딥페이크 소프트웨어 'Haotian AI'에 대해 보도한 바 있습니다. Haotian AI는 수천 달러의 비용이 들고 설치가 까다로우며 고성능 그래픽 카드가 필요하지만, Delulu는 그런 장벽 없이 누구나 쉽게 접근할 수 있습니다.

Delulu는 시퀘이아 캐피털(Sequoia)과 벤치마크(Benchmark) 같은 실리콘밸리의 유명 벤처 캐피털로부터 여러 차례에 걸쳐 4억 5,000만 달러 이상의 자금을 조달한 기업인 'Decart'가 선보이는 여러 AI 비디오 제품 중 하나일 뿐입니다. Decart는 'MirageLSD'라는 AI 비디오 생성기와 Delulu와 유사한 'Lucy 2'라는 실시간 비디오 AI 모델도 개발했습니다. Lucy 2와 Delulu의 주요 차이점 중 하나는 Delulu가 스트리머들의 니즈에 맞춰 제작되었다는 점입니다.

Delulu의 이용약관에는 다른 실존 인물의 초상을 도용하는 행위에 대한 명확한 금지 규정이 없습니다. 다만, 저작권 및 기타 지적재산권자의 정당한 권리를 존중한다는 정책을 내세우며, 명백한 저작권 침해 주장에 대해서는 대응하겠다고 명시하고 있을 뿐입니다. 킥(Kick)과 Decart 측은 페퍼의 이러한 행위가 그들의 플랫폼 정책에 위배되는지에 대한 논평 요청에 응답하지 않았습니다. Decart는 작년 트위치콘(TwitchCon)에서 Delulu가 아닌 실시간 AI 비디오 기술을 선보인 바 있습니다. 또한 트위치 역시 논평 요청에 즉각적인 답변을 내놓지 않았습니다.

원문 보기
원문 보기 (영어)
An app that allows users to deepfake their appearance in realtime has predictably resulted in a streamer making nonconsensual and potentially defamatory content. Specifically, the streamer made himself look like Mr. Beast and said “I love touching little boys’ pee pees.” Sam Pepper, a British internet personality known for videos and streams in which he harasses people with so-called pranks, and who has been banned from multiple platforms, used the realtime deepfake app on Kick, a streaming platform and Twitch competitor known for its loose moderation policies. Initially, Pepper made himself look like a seemingly random woman, but then switched his appearance to look like real people including Mr. Beast, Jeffrey Epstein, Amouranth, and Sydney Sweeney. When he appeared as one of the women, Pepper showed his AI-generated body to the camera, pulled up her dress, and played with her AI-generated breasts. The app Pepper used, called Delulu, offers users the ability to appear as any of these celebrities out of a menu of likenesses the app calls “skins,” many of which are created by Delulu users. Delulu users can make themselves look like animals, cartoons, and fictional characters, but also real people like George Floyd, politicians like Donald Trump and Vladimir Putin, or celebrities like Kim Kardashian and Eminem. The site also includes skins for a number of adult performers. All users have to do to change their appearance is give the app access to their camera and click on one of these skins. Much like Civitai and other platforms and communities for sharing custom AI models, Delulu allows users to create and share their own models. All the skins Pepper showed on Stream appear to be user-generated. The result is not as convincing as some other pieces of software that allow people to deepfake their appearance in real time, but is free and easy to use. For example, we recently wrote about Haotian AI , a Chinese-language realtime deepfake software that’s marketed to scammers. Haotian AI costs thousands of dollars, is difficult to install, and requires a powerful video card. Delulu is just one of several AI video products from Decart, a company that has raised more than $450 million in several rounds of funding from established Silicon Valley venture capital firms like Sequoia and Benchmark. Decart also makes an AI video generator called MirageLSD, and a realtime video AI model called Lucy 2 similar to Delulu. One of the main differences between Lucy 2 and Delulu is that Delulu caters to streamers. Delulu’s terms of use don’t say anything about people using the platform to take on the likeness of other real people, but does say its policy is “to respect the legitimate rights of copyright and other intellectual property owners, and we will respond to clear notices of alleged copyright infringement.” Kick and Decart did not respond to requests for comment about whether Pepper’s behavior was allowed on their platform. Decart presented realtime AI video tech, but not Delulu, at TwitchCon last year. Twitch did not immediately respond to a request for comment. About the author Emanuel Maiberg is interested in little known communities and processes that shape technology, troublemakers, and petty beefs. Email him at emanuel@404media.co More from Emanuel Maiberg