실제 여성의 SNS 사진을 무단으로 크롤링하여 AI로 딥페이크 성인물을 제작하고, 이를 활용해 수익을 창출한 남성들이 소송을 당했습니다. 이들은 일반인 여성의 신원을 알아내기 어렵게 속이는 방법과 옷을 벗기는 AI 사용법 등을 담은 강의를 판매하며 수천 명의 구독자를 끌어모았습니다. 이 사건은 딥페이크 기술이 악용될 때 개인의 초상권과 디지털 안전에 얼마나 심각한 위협이 될 수 있는지 보여주는 중요한 사례입니다.
번역된 본문
1년 조금 넘 전, MG(신원 보호를 위해 이니셜만 표기함)는 애리조나주 스코츠데일에서 20대 평범한 삶을 살고 있었다. 그녀는 개인 비서로 일했고 주말에는 웨이트리스로 일하며 수입을 보탰다. 또래 대부분의 여성들처럼 인스타그램 계정을 가지고 있었고, 가끔 스토리를 올리거나 친구들과 차를 마시고 수영장에 놀러 가거나 필라테스를 하는 등 자신의 사진을 게시했다. 그녀는 "소셜 미디어에서 인기를 끌거나 유명해지고 싶지는 않았어요. 처음 나왔을 때 대부분의 사람들이 그랬던 것처럼, 그저 가장 친한 사람들과 삶을 공유하는 용도로 사용했죠"라고 말했다. 팔로워는 9,000명 조금 넘었는데, 꽤 탄탄한 팬덤이었지만 거대한 플랫폼 수준은 아니었다.
작년 여름, 그녀는 한 팔로워에게 DM(쪽지)을 하나 받았다. 자신과 완전히 똑같이 생긴 여성의 사진과 동영상이 인스타그램에 유통되고 있다는 것을 아느냐는 내용이었다. MG가 링크를 클릭해 보니, 자신의 얼굴이 자신의 몸과 꼭 닮은 몸체에 합성된 것으로 보이는 여러 개의 릴스(Reels) 영상이 있었다. 사진 속 여성은 야한 옷차림을 하고 있었고, 문신의 위치도 MG와 같았다. MG는 경악했다. "나를 잘 모르는 사람이었다면 그 사진이 진짜 내라고 충분히 생각할 수 있었을 거예요. 내 이미지에 대해 전혀 통제할 수 없다는 뼈아픈 현실 자극이었죠."
최근 제기된 소장에서 그녀가 밝힌 바와 같이, 조작된 누드 또는 노출이 심한 자신의 사진이 인터넷에 유통되고 있다는 사실만으로도 끔찍했지만, 그 사진들이 남성들에게 자신만의 AI 인플루언서를 만드는 방법을 가르치는 플랫폼인 'AI ModelForge'를 광고하는 데 사용되고 있다는 사실을 알게 되었을 때는 더더욱 충격을 받았다. 일련의 온라인 강좌와 튜토리얼에서 이 남성들은 구독자들에게 'CreatorCore'라는 소프트웨어를 사용하여 아무것도 모르는 젊은 여성들의 사진으로 AI 모델을 학습시키고, 그 결과물을 인스타그램과 틱톡에 게시하는 방법을 가르친 혐의를 받고 있다.
그녀는 "그들은 스스로를 방어할 수 없는 사람을 선택하는 방법 등 완벽한 공식을 제공했어요. 그래서 어떤 유형의 여성을 사용하고 어디에서 사진을 구해야 하는지에 대한 지침도 모두 있었죠"라고 주장했다. "모든 면에서 역겨웠어요."
MG는 1월 애리조나주에서 제기된 소송에서 세 명의 원고 중 한 명이다. 피고는 피닉스에 사는 세 명의 남성, 잭슨 웹(Jackson Webb), 루카스 웹(Lucas Webb), 보 슐츠(Beau Schultz), 그리고 기타 50명의 신원 미상(John Does) 남성들이다. 소송은 웹 형제와 슐츠가 인터넷을 뒤져 아무것도 모르는 젊은 여성들의 사진을 수집한 다음, AI를 사용해 그들과 똑같이 생긴 가상의 모델 사진과 동영상을 생성하고 구독형 플랫폼인 팬뷰(Fanvue)에서 판매했다고 주장한다.
또한 소송은 이 남성들이 whop라는 플랫폼에서 월 24.95달러에 온라인 강좌를 판매하여 소송에 명시된 신원 미상의 남성들을 포함한 다른 남성들에게 실제 여성의 사진을 기반으로 자신들만의 AI 인플루언서를 만드는 방법을 교육했다고 추가로 주장한다. 이 남성들은 여성의 소셜 미디어 계정에서 이미지를 긁어모아 CreatorCore의 생성형 AI 모델에 입력하는 방법과 여성의 옷을 벗기고 성적으로 노골적인 이미지와 비디오를 생성하는 별도의 앱에 대한 '청사진(Blueprints)'을 만든 혐의를 받고 있다.
소장에 따르면 이러한 콘텐츠는 수백만 회의 조회수를 기록했으며, 보도에 따르면 한 달에 50,000달러 이상의 수입을 올렸다. (웹 형제와 슐츠는 기자의 코멘트 요청에 응답하지 않았다.) 고소장은 이러한 돈벌이 수단이 "아무것도 모르는 여성과 소녀들의 분간할 수 없는 AI 복제본 하렘"을 먹잇감으로 삼았을 뿐만 아니라 소셜 미디어에서 여성을 "먹잇감으로 삼으려는 포식자들"에게 가이드를 제공했다고 주장한다. 소송에 따르면 2025년 CreatorCore 플랫폼은 자체 AI 인플루언서를 생성하는 8,000명 이상의 구독자를 보유하고 있었으며, 그 결과 50만 장 이상의 이미지와 동영상이 쏟아져 나왔다. AI ModelForge는 남성들에게 자신만의 "AI 인플루언서"를 만드는 방법을 가르쳐주어 인공지능의 광범위한 사용을 이용해 수익을 창출하려는 수많은 신흥 기업 중 하나다.
Comment Loader Save Story Save this story Comment Loader Save Story Save this story A little over a year ago, MG was leading the relatively normal life of a twentysomething in Scottsdale, Arizona. She worked as a personal assistant and supplemented her income by waiting tables on the weekends. Like most women her age, she had an Instagram account, where she’d occasionally post Stories and photos of herself getting matcha and hanging out by the pool with her friends, or going to Pilates. “I never really cared to pop off and become popular on social media,” says MG (who is cited only as MG in the lawsuit to protect her identity). “I just used it the way most people did when it first came out, to share their lives with the people closest to them.” She has a little more than 9,000 followers—a robust following, but nowhere close to a massive platform. Last summer, she received a DM from one of her followers. Did she know, the person asked her, that photos and videos of a woman who looked exactly like MG were circulating on Instagram? MG clicked the link and saw multiple Reels of what appeared to be her face superimposed onto a body that looked exactly like her own. The woman in the photo was scantily clad, with tattoos in the same places as MG. MG was horrified. “If you didn’t know me well, you could very well think they were images of me,” she said. “It was kind of like this reality check that I don’t have any control over my own image.” She was even more appalled when she discovered that not only were doctored nude or scantily clad photos of her being circulated on the internet, as she outlined in a recently filed complaint—they were also being used to advertise AI ModelForge, a platform that teaches men how to generate their own AI influencers. In a series of online classes and tutorials, the men allegedly taught subscribers to use a software called CreatorCore to train AI models using photos of unsuspecting young women, posting the resulting content on Instagram and TikTok. “They provided a whole playbook, including instructions on how to pick the right person so that it's not someone who can defend themselves, so they all had instructions on what type of women to use and where to get their pictures,” she claims. “It was disgusting on every single level.” MG is one of three plaintiffs in a lawsuit filed in January in Arizona against three Phoenix men: Jackson Webb, Lucas Webb, and Beau Schultz, as well as 50 other John Does. The lawsuit alleges that the Webbs and Schultz scoured the internet for photos of unsuspecting young women, then used AI to generate photos and videos of fictional models who look exactly like them, selling such content on the subscription platform Fanvue . The suit further alleges that for $24.95 a month on the platform Whop , the men sold courses online training other men, including the John Does named in the suit, how to make their own AI-generated influencers based on real women’s photos. The men allegedly created “Blueprints” for how to scrape images from women’s social media accounts and feed them into the generative AI model on CreatorCore, as well as a separate app that would remove the women’s clothes and generate sexually explicit images and videos. Such content, the suit claims, generated millions of views, reportedly generating more than $50,000 in income in one month. (The Webbs and Schultz did not respond to requests for comment.) This moneymaking scheme, the complaint alleges, preyed on a “harem of indistinguishable AI copies of unsuspecting women and girls,” as well as instructing “predators seeking to prey on” women on social media. According to the suit, in 2025 the CreatorCore platform had more than 8,000 subscribers generating their own AI influencers, resulting in more than 500,000 images and videos. AI ModelForge is one of many burgeoning companies seemingly looking to capitalize on the widespread use of artificial intelligence by teaching men how to create their own “AI influencers” as a side hustle of sorts. On platforms like X, self-styled entrepreneurs boast about their own patented methods for earning hundreds of thousands of dollars off AI models, luring in young tech-savvy men looking to earn a quick buck. “The prevalence of this has been shocking to me,” says Nick Brand, who, with attorney Cristina Perez Hasano, is representing MG and the other two plaintiffs. The young men the lawsuit alleges are behind AI ModelForge are “targeting normal, everyday folks that have average social media profiles and social media followings.” One of the more insidious elements of this particular case, he alleges in an interview, is the use of the women’s images to teach other men how to find victims. According to the complaint, the defendants encouraged subscribers to target women with less than 50,000 followers to avoid “legal issues.” “These boys aren’t just using generative AI to disrobe women—they’re selling the ability to do so to other men and boys, who are then going to use other women's images to do the same thing,” Brand contends. MG and the other two plaintiffs, he claims, are “the face of a product that is harming other women. It’s like making somebody the face of ICE who has had their parents deported. It’s horrifying.” Technically, there is a federal law preventing the proliferation of nonconsensual AI-generated porn. The Take It Down Act, which President Trump signed into law in May 2025 , makes publishing nonconsensual sexualized AI-generated content illegal, requiring platforms to remove such content within 48 hours when it’s flagged. And most US states, including Arizona, have passed laws banning so-called “deepfake” porn. But the Take It Down Act does not go into effect until May 2026, and state laws tend to be “reactive rather than proactive,” says Arizona state representative Nick Kupper. Earlier this year, Kupper introduced a bill in the Arizona legislature requiring websites to use automated detection tools, such as age verification or consent forms, to prevent nonconsensual AI content from being uploaded. “Once something's online, it's pretty much there forever, even though victims spend millions of dollars trying to take it down. It’s like whack-a-mole—you hit one, another one pops up.” Currently, if you visit the Linktree page for AI ModelForge, it directs you to what appears to be the same business rebranded as “TaviraLabs,” a Telegram group with more than 18,000 members that advertises itself as “the #1 AI Influencer coaching community.” Additionally, the suit names more than a dozen Instagram accounts used by the defendants to promote AI ModelForge, most of which are still active. The suit details how such accounts continue to post photos of nubile women, fast cars, and expensive watches, writing captions such as, “She’s not my girlfriend, she’s my best paid employee” and “POV: You built her in 20 minutes and she made you $13.2k in the first 45 days.” Even though MG and the other plaintiffs have continually lobbied Instagram to take their images down, many of them are still up, she claims, because they do not technically violate Instagram’s guidelines surrounding AI-generated content. When reached for comment, a spokesperson for Instagram said it had “extremely strict policies” around both AI- and non-AI-generated nonconsensual intimate imagery, removing accounts that post such content. When provided with a list of a dozen or so accounts thought to be associated with AI ModelForge, the spokesperson said the accounts were under review. The suit also cites a number of TikTok accounts promoting the men’s business. When reached for comment, a TikTok spokesperson said the accounts were found to violate community guidelines and have been taken down. MG says the images generated by AI Model Forge are distinct enough from her own photos that she frustratingly has been unable to claim that the accounts are impersonating hers, which is also a violation of Instagram guidelines. “It