메뉴
BL
MIT Tech Review 39일 전

AI로 무장한 초강력 사기 범죄

IMP
9/10
핵심 요약

생성형 AI의 발전으로 사이버 범죄자들이 피싱 이메일 작성, 딥페이크 제작, 멀웨어 변조 등에 AI를 악용하고 있어 공격의 속도와 규모가 전례 없이 커지고 있습니다. 이에 따라 마이크로소프트 등 기업들은 방어 목적의 AI를 적극 활용해 대응하고 있으나, AI 기반 위협의 고도화 속도에 대한 전문가들의 우려도 커지고 있습니다.

번역된 본문

지금 AI에서 가장 중요한 10가지 (전체 목록 보기)

2022년 말 ChatGPT가 대중에 공개되었을 때, 사람들은 간단한 프롬프트만으로 생성형 AI가 얼마나 쉽게 대량의 인간 같은 텍스트를 쏟아낼 수 있는지 눈을 떴습니다. 이는 곧 범죄자들의 주목을 받았고, 그들은 곧 대형 언어 모델(LLM)을 사용하여 돈과 민감한 정보를 훔치기 위해 설계된 무차별 스팸 메일과 더 정교하게 표적화된 공격 등 악의적인 이메일을 제작하기 시작했습니다.

그 이후로 사이버 범죄자들은 자신들의 범죄 수법을 고도화(Supercharge)하기 위해 AI 도구를 채택했습니다. 그들은 이 기술을 활용하여 피싱 이메일 작성, 매우 사실스럽고 설득력 있는 딥페이크(Deepfake) 영상물 제작은 물론, 악성 소프트웨어(일반적으로 멀웨어(Malware)라고 함)가 탐지되기 어렵도록 변조하는 등 모든 작업에 AI를 사용하고 있습니다. 또한 AI를 사용하여 네트워크와 컴퓨터 시스템의 취약점을 자동으로 검색하고, 랜섬웨어 협박문을 빠르게 생성하며, 훔친 방대한 양의 데이터를 분석해 가장 가치 있는 것을 정확히 찾아낼 수 있습니다.

해킹 자체에 대한 AI의 영향은 아직 명확하지 않습니다. 하지만 AI가 공격 예비자들의 진입 장벽을 낮추고, 끊임없이 진화하는 새로운 능력의 무기고를 제공하며, 표적을 침투하는 시도를 그 어느 때보다 빠르고, 저렴하고, 쉽게 만든다는 것은 분명합니다. 예를 들어, 인터폴(Interpol)은 동남아시아 전역의 사기 조직이 저렴한 AI 도구를 활용해 더 많은 잠재적 피해자를 빠르게 표적으로 삼고 민첩하게 새로운 거점으로 옮기고 있다고 경고했습니다. 이와 유사하게 아랍에미리트(UAE) 최근 자국의 핵심 부문에 대한 은밀한 AI 지원 공격을 좌절시켰다고 최근 밝혔습니다.

또한 이러한 무차별적이고 산발적인 스팸 공격은 엄청난 규모로 쏟아져 나올 수 있기 때문에, 원하는 효과를 얻기 위해 반드시 매우 정교할 필요가 없습니다. 우연히 방어되지 않은 컴퓨터에 침투하거나 적절한 시기에 의심하지 않는 피해자의 받은편지함에 들어가기만 하면 운이 좋은 것입니다.

많은 조직이 이미 자신들을 표적으로 하는 막대한 양의 사이버 공격에 대처하기 위해 고군분투하고 있습니다. 점점 더 많은 범죄자들이 시도하고, 공개적으로 사용 가능한 생성형 AI 시스템의 기능이 계속 향상됨에 따라 이 문제는 상당히 악화될 가능성이 높습니다.

이달 초, AI 기업 앤스로픽(Anthropic)은 자체 개발 중인 모델인 '미토스(Mythos)'가 모든 주요 운영 체제 및 웹 브라우저의 취약점을 포함하여 수천 개의 치명적인 취약점을 발견했다고 밝혔습니다. 앤스로픽은 이러한 취약점이 모두 패치되었다고 말하지만, 이러한 새로운 기능으로 인해 모델 출시를 연기하고 있는 한편, '프로젝트 글라스윙(Project Glasswing)'이라는 기술 기업 컨소시엄을 구성하여 그동안 이러한 기능을 방어 목적으로 활용하려고 노력할 것이라고 밝혔습니다.

현재 사이버 보안 연구원들은 기본적인 방어 체계를 통해 허술한 공격은 좌절시킬 수 있다고 낙관하고 있으며, 소프트웨어 업데이트를 최신 상태로 유지하고 네트워크 보안 프로토콜을 준수하는 것이 얼마나 중요한지 강조하고 있습니다. 하지만 우리가 미래에 더 정교한 공격을 얼마나 잘 방어할 수 있을지는 아직 불투명합니다.

다행히 방어에도 AI가 활용되고 있다는 것입니다. 이러한 위협을 모니터링하는 수많은 기업 중 하나인 마이크소프트(Microsoft)는 하루에 자사 AI 시스템이 잠재적으로 악의적이거나 의심스럽다고 표시한 100조 개가 넘는 신호를 처리합니다. 이 회사는 2024년 4월부터 2025년 4월 사이에 AI 콘텐츠의 도움을 받았을 수 있는 사기 및 사기성 거래로 40억 달러(약 5조 5천억 원)어치를 차단하는 데 성공했다고 밝혔습니다. 이러한 공격을 가능하게 한 바로 그 기술이 향후 우리를 안전하게 지켜줄 가장 좋은 방어 수단이 될 수도 있습니다.


딥 다이브: 인공지능

• 오픈AI, 완전 자동화된 AI 연구원 구축에 모든 역량 쏟아붓는 중 오픈AI의 수석 과학자 야쿠브 파초키(Jakub Pachocki)와 이 회사의 새로운 대형 도전 과제와 AI의 미래에 대한 단독 인터뷰. (글: 윌 더글러스 헤븐)

• 포켓몬 고(Pokémon Go)가 배달 로봇에 완벽한 세계관을 제공하는 방법 단독: 나이앤틱(Niantic)에서 분사한 AI 기업이 수십억 장의 거리 뷰 이미지를 사용하여 새로운 세계 모델을 훈련하고 있습니다.

원문 보기
원문 보기 (영어)
10 Things That Matter in AI Right Now See the full list When ChatGPT was released to the public in late 2022, it opened people’s eyes to how easily generative AI could churn out vast amounts of human-seeming text from simple prompts. This quickly caught the attention of criminals, who soon began using large language models to produce malicious emails —both the untargeted spam kind and more sophisticated, targeted attacks designed to steal money and sensitive information. Since then, cybercriminals have adopted AI tools to supercharge their operations . They’ve used the technology to do everything from composing phishing emails and creating hyperrealistic, convincing deepfake clips to tweaking malicious software (commonly known as malware) so it is harder to detect. They can also use AI to automate the search for vulnerabilities in networks and computer systems , quickly generate ransom notes, and analyze vast swathes of stolen data to pinpoint what’s most valuable. AI’s impact on hacking itself is not so clear-cut. But we do know that AI is lowering the barriers for would-be attackers, providing them with an ever-evolving arsenal of new capabilities, and making it faster, cheaper, and easier than ever before for them to try to infiltrate their targets. For example, scam centers across Southeast Asia are embracing inexpensive AI tools to quickly target greater numbers of potential victims and to swiftly switch to new locations, Interpol has warned. Similarly, the United Arab Emirates recently claimed to have foiled a series of shadowy AI-backed attacks on its vital sectors. And because these spammy, scattergun attacks can be pumped out at a colossal scale, they don’t need to be very sophisticated to have the desired effect—just lucky enough to get into a machine that happens to be undefended, or into the inbox of an unsuspecting victim at the right time. Many organizations are already struggling to cope with the sheer volume of cyberattacks targeting them. The problem is likely to get significantly worse as increasing numbers of criminals try their luck, and as the capabilities of publicly available generative AI systems continue to improve. Earlier this month, AI company Anthropic claimed that Mythos, a model it’s developed and is now testing, found thousands of critical vulnerabilities, including some in every major operating system and web browser. Anthropic says all of them have been patched, but it’s delaying the model’s release as a result of these new capabilities and set up a consortium of tech companies called Project Glasswing that it says will try to put these capabilities to work for defensive purposes in the meantime. Right now, cybersecurity researchers are optimistic that sloppier attacks can be thwarted through basic defenses, highlighting just how important it is to keep on top of software updates and stick to network security protocols. How well positioned we’ll be to ward off more sophisticated attacks in the future is much less clear. The good news is that AI is also being used to defend. Each day, Microsoft—just one of the many businesses keeping tabs on such threats—processes more than 100 trillion signals flagged by its AI systems as potentially malicious or suspicious. The company says that between April 2024 and April 2025, it managed to block $4 billion worth of scams and fraudulent transactions, many of which may have been aided by AI content. The same technology that makes such attacks possible could also be our best bet at keeping us safe in years to come. Deep Dive Artificial intelligence OpenAI is throwing everything into building a fully automated researcher An exclusive conversation with OpenAI’s chief scientist, Jakub Pachocki, about his firm's new grand challenge and the future of AI. By Will Douglas Heaven archive page How Pokémon Go is giving delivery robots an inch-perfect view of the world Exclusive: Niantic's AI spinout is training a new world model using 30 billion images of urban landmarks crowdsourced from players. By Will Douglas Heaven archive page Want to understand the current state of AI? Check out these charts. According to Stanford’s 2026 AI Index, AI is sprinting, and we’re struggling to keep up. By Michelle Kim archive page This startup wants to change how mathematicians do math Axiom Math is giving away a powerful new AI tool. But it remains to be seen if it speeds up research as much as the company hopes. By Will Douglas Heaven archive page Stay connected Illustration by Rose Wong Get the latest updates from MIT Technology Review Discover special offers, top stories, upcoming events, and more. Enter your email Privacy Policy Thank you for submitting your email! Explore more newsletters It looks like something went wrong. We’re having trouble saving your preferences. Try refreshing this page and updating them one more time. If you continue to get this message, reach out to us at customer-service@technologyreview.com with a list of newsletters you’d like to receive.