전 세계적인 실시간 딥페이크 사기의 배후에 있는 중국발 소프트웨어 '하오톈 AI(Haotian AI)'의 실체를 처음으로 단독 취재했습니다. 기자가 직접 소프트웨어를 테스트한 결과, 화상 통화 중 빛이 변하거나 손으로 얼굴을 가려도 오작동 없이 완벽에 가까운 변신이 가능한 것으로 확인되었습니다. 이 소프트웨어는 완성도 높은 기술 지원을 제공하여 IT 지식이 부족한 범죄자도 쉽게 실시간 범죄에 접근할 수 있게 만들었으며, 이미 미국 경찰 위장 및 동남아 사기 조직과 연루되어 400만 달러 이상의 수익을 올린 것으로 파악되어 즉각적인 대응이 시급합니다.
번역된 본문
"오 마이 갓. 오 마이 갓." 나는 내 몸이 아닌 다른 사람의 몸 위에 떠 있는 내 얼굴을 보며 소리쳤다. 내 얼굴의 까끌까끌한 수염, 바보 같은 미소, 심지어 눈 밑의 다크서클까지 모두 그대로였다. 나는 마이크로소프트 팀즈(Teams) 통화 중이었고, 이 실시간 딥페이크 버전의 나와 상호작용하고 있었다. 보통 통화 상대방은 나와 전혀 닮지 않았지만, 게이밍 노트북과 사기꾼들이 탐내는 최첨단 소프트웨어를 사용함으로써 그의 얼굴은 내 얼굴로 변했다. 나로 변신한 딥페이크는 뺨을 꼬집고, 코를 가리고, 턱을 쓰다듬었는데 환상이 깨지는 일(오작동)은 전혀 없었다. 과거 비디오 딥페이크가 기존 비디오 위에 누군가의 얼굴을 씌우는 것이었다면, 내가 사용한 이 도구는 다른 것을 약속했다. 바로 화상 통화 중에 누군가(누구든)로 실시간 변신할 수 있는 능력이었다.
'하오톈 AI(Haotian AI)'라 불리는 이 도구를 파는 중국어 사용 사기꾼들과 몇 주간의 실랑이 끝에, 나는 이 소프트웨어의 복사본을 입수할 수 있었다. 하오톈 AI는 우리 모두가 매일 사용하는 플랫폼, 즉 WhatsApp, 마이크로소프트 팀즈, 줌(Zoom), 틱톡, 인스타그램, 유튜브와 특히 잘 작동하도록 설계되었다.
💡 하오톈 AI, 유사한 기술 또는 사기 조직에 대해 알고 계신 것이 있나요? 제보를 기다립니다. 업무용 기기가 아닌 개인 기기를 사용해 Signal(joseph.404)로 안전하게 메시지를 보내거나 joseph@404media.co로 이메일을 보내주시기 바랍니다.
하오톈 AI는 딥페이크 사기와 사기 행위의 다음 단계를 알린다. 이는 대중과 기술 기업들이 아직 준비하지 못했을 수 있는 단계로, 범죄자들이 자신의 외모를 실시간으로 바꿔 미국인을 포함한 사람들을 속이고 돈을 갈취할 수 있게 된다. 로맨스 스캠, 세금 사기, 가짜 납치 등 모든 범죄가 계속해서 화질이 향상되는 실시간 딥페이크 소프트웨어를 통해 더욱 기승을 부릴 것으로 보인다.
404 Media의 하오톈 AI 실험은 언론인이 이 소프트웨어를 직접 테스트하여 그것이 실제로 어떻게 작동하는지, 얼마나 효과적인지, 그리고 이 소프트웨어의 존재가 현재와 가까운 미래의 사기 행각에 무엇을 의미하는지 확인한 최초의 사례다.
우리의 조사에 따르면 하오톈 AI는 최소 한 미국 경찰서를 사칭하는 방법으로 자사의 도구를 시연했다. 우리는 하오톈 AI를 중국의 자금 세탁 네트워크와 동남아시아의 거대한 사기 조직에 서비스를 제공하는 생태계와 연결 지었으며, 하오톈 AI가 그 창작자들에게 400만 달러 이상의 수익을 가져다주었다는 사실을 알아냈다.
우리의 조사는 또한 하오톈 AI가 오픈소스 얼굴 교체(Face swap) 도구를 기반으로 할 가능성이 높다는 것을 보여준다. 이는 이 소프트웨어의 진정한 가치가 정교한 기술 지원에 있다는 것을 의미한다. 이를 통해 컴퓨터에 서툰 범죄자들조차 이제 실시간 딥페이크 소프트웨어에 접근할 수 있게 되었고, 전 세계적으로 더 많은 사기꾼들이 이 강력한 기술을 사용할 가능성이 열렸다.
하오톈 AI의 사용자 인터페이스에는 "시장에 나온 모든 것보다 훨씬 앞서 있다"라고 적혀 있다. 회사가 텔레그램(Telegram)에 게시한 데모 영상에 따르면, 하오톈 AI의 실시간 딥페이크는 조명 변화나 피사체의 얼굴 앞에 나타나는 사물을 처리하는 데 있어 특히 인상적일 수 있다. 한 데모 영상은 아시아 여성이 배우 갤 가돗(Gal Gadot)으로 마법처럼 변신하는 것을 보여준다. 데모에서 딥페이크 갤 가돗은 손가락으로 키스를 날리고, 한쪽 눈을 가리고, 얼굴 앞에서 손을 빠르게 스치듯 지나가는데, 소프트웨어가 단 한 번도 오류를 일으키지 않는다. 다른 도구들은 사용자가 자신의 얼굴을 만질 때 종종 실패하곤 한다. 그렇게 하면 소프트웨어가 오작동하여 그 아래에 있는 진짜 사람의 얼굴이 드러난다. 하지만 데모에서 하오톈 AI는 환상(딥페이크 상태)을 계속 유지했다.
또 다른 데모 영상은 비록 피부가 약간 눅눅해 보이지만 사실적인 일론 머스크와 성룡( Jackie Chan)을 보여준다. 메시징 앱 텔레그램을 통해 나와 직접 라이브로 진행된 시연에서, 하오톈 AI 기술자는 이 소프트웨어가 피사체의 입술을 두껍거나 얇게 만들거나, 턱선을 각지거나 둥글게 만드는 방법을 실시간으로 보여주었다. 하오톈 AI의 사용자 인터페이스는 고객이 딥페이크의 코 크기를 조정하고, '여드름 제거' 기능을 사용하며, 눈 모양을 변경할 수 있게 해준다.
404 Media의 자체 테스트에 따르면, 효과적인 딥페이크를 위해서는 약간의 설정이 필요할 수 있다. 그리고 하오톈 AI는 인간의 눈을 속일 뿐만 아니라 이를 탐지하도록 설계된 도구들조차 능가할 수 있다.
“Oh my god. Oh my god,” I yelled as I looked at my own face on someone else’s body. It was all there: my five o’clock shadow, my goofy grin, even the bags under my eyes. I was on a Microsoft Teams call interacting with this deepfake version of myself in realtime. Ordinarily the other person on the line looks nothing like me, but by using a gaming laptop and a sought-after, cutting edge piece of software for scammers, his face morphed into mine. My deepfake pinched his cheek, covered his nose, and stroked his chin, all without the illusion breaking. Whereas video deepfakes used to be about superimposing someone’s face onto an existing video, the tool I was using promised something else: the ability to shapeshift into someone—anyone—live during a video call. After weeks of back and forth with the Chinese-language scammers selling the tool, called Haotian AI, I had obtained a copy of the software. Haotian AI is built to work specifically with platforms we all use everyday: WhatsApp, Microsoft Teams, Zoom, TikTok, Instagram, and YouTube. 💡 Do you know anything else about Haotian AI, similar technology, or scam compounds? I would love to hear from you. Using a non-work device, you can message me securely on Signal at joseph.404 or send me an email at joseph@404media.co. Haotian AI marks the next stage in deepfake scams and fraud, one that the public and tech companies may not be ready for, where criminals are able to change their appearance in real time to trick people, including Americans, into handing over their money. Romance scams, tax fraud, virtual kidnappings: all stand to be amplified by live deepfake software which continues to improve in quality. 404 Media’s experimentation with Haotian AI marks the first time a journalist has managed to test this software to see how it really works, how effective it is, and what its existence means for the present and very near future of scams. Our investigation finds Haotian AI demonstrates its tool as a way to impersonate at least one U.S. police department. We link Haotian AI to Chinese money laundering networks and the ecosystem providing services to massive scam compounds in South East Asia, and find that Haotian AI has brought in more than $4 million dollars for its creators. Our investigation also reveals Haotian AI is likely based on open source face swap tools, meaning the true value of the software is its sophisticated technical support. With that, even the least tech-savvy criminals can now access realtime deepfake software, opening up the possibility for more fraudsters around the world to use this powerful technology. “It is far ahead of everything on the market,” the user interface of Haotian AI reads. Haotian AI’s realtime deepfakes can be particularly impressive, able to handle adjustments in lighting and objects appearing in front of the subject’s face, according to demos the company has posted on Telegram. One demo video shows an Asian woman magically transforming into actor Gal Gadot. In the demo, the deepfake Gadot blows a kiss, covers one of her eyes, and rapidly swipes her hand past her face, with the software not glitching once. Other tools sometimes fail when a user touches their own face. When they do so, the software malfunctions and shows the real person underneath. In the demos, Haotian AI keeps the illusion going, though. Another demo video shows a realistic, albeit dewy skinned, Elon Musk and Jackie Chan. In a direct and live demonstration with me over the messaging app Telegram, a Haotian AI technician showed in real time how the software can also make a subject’s lips thicker or thinner, or their jawline sharper or more rounded. The user interface of Haotian AI also lets customers adjust the size of their deepfake’s nose, use an “acne removal” feature, and change the shape of their eyes. For an effective deepfake, some configuration may be required, according to 404 Media’s own tests. And Haotian AI may not just beat the human eye, but tools designed to detect deepfakes as well. Xception is a deepfake detection model; in a paper published last June, researchers found it “struggled” to detect Haotian AI-generated deepfakes. “While Xception hit 89.1% accuracy on the control stuff, it misclassified almost 100% of the Haotian samples as ‘authentic,’” Charles Fross, one of the authors of that paper, told 404 Media in an email. “Haotian’s work is shockingly convincing, especially with how it handles facial and body movements.” There are now a variety of ways to produce deepfakes, but generally they work by training a machine learning model on images of a person’s face, then mapping that face onto another face in a video, frame by frame, a process that could take seconds, minutes, or more, depending on the method on how long the video is. Realtime deepfakes work similarly, but are more sophisticated because they have to track a face and map the deepfake face onto it moment to moment. Haotian AI is squarely part of the sprawling Chinese-language crime ecosystem that provides services to multibillion scam compounds in South East Asia. In practical terms, these networks exist on Telegram. Once you join a central channel which lists vetted services on offer, you can access what feels like a limitless array of illegal products: Money laundering. Malware. “High-end” escorts. These Chinese-language Telegram networks are easily accessible, dangerous, and massive. Researchers have said one market , called Xinbi Guarantee, has facilitated a massive $21 billion in transactions. Authorities have attempted to sever another, called Huione Group, from the U.S. financial system . When WIRED reported on Haotian AI in December and approached Telegram for comment, the main Haotian AI Telegram channel became inaccessible. But the company has continued to operate, push significant updates, and sell its technology, 404 Media found. ‘COME IN’ I found Haotian AI’s Telegram account and, through Google Translate, said I was interested in buying the technology. For weeks, these conversations didn’t go very far. Someone representing the company would ask if I had a powerful PC to run the software, I would say yes, and the person would not reply. Something shifted in March, and the company became a lot more responsive. I made sure to log on to Telegram when Haotian AI’s representatives were online. Haotian AI is based out of Cambodia, according to cybercrime fighting NGO Chong Lua Dao. Hieu Minh Ngo, a former hacker prosecuted by the U.S. for identity theft who now works to combat fraud with the organization, shared screenshots with 404 Media showing Haotian AI offering physical installation of the software “in some areas of Cambodia.” Ngo also shared a video which appears to show Haotian AI’s customer support staff installing the software in an office building in Phnom Penh. In my chats with Haotian AI, the representative sent over a table explaining the PC specification requirements for Haotian AI. The specs resembled a moderate to high gaming PC: an i7 processor; 16GB of DDR5 RAM; and, most importantly, an Nvidia 4080 SUPER graphics card. Having a card like this, with a powerful parallel processing architecture, as with other forms of generative AI, is the key to unlocking an effective realtime video deepfake. The company then asked for an array of screenshots that showed we had access to a PC that matched or beat these specifications. I asked 404 Media’s Emanuel Maiberg to take each of the requested screenshots on his beefy gaming PC. After several days of relaying this information over, which may have been a tactic to ensure we weren’t timewasters, Haotian AI agreed to take us to the next step. “Come in,” the company contact said after they made a dedicated Telegram group chat to connect us with other parts of Haotian AI. That group included myself, the person I had been speaking to, and two other Haotian AI Telegram contacts, including one referred to as a “technician.” They would run me through how to ins