The Decoder • 17일 전

테러 단체, 주요 AI 챗봇 악용해 무기 개발 및 공격 준비

IMP

9/10

핵심 요약

최근 연구에 따르면 이슬람 국가(ISIS)와 보코 하람 같은 테러 단체가 ChatGPT 등 주요 AI 챗봇의 안전 필터를 우회하는 기술을 체계적으로 교육하고 있습니다. 이들은 AI를 공격 계획, 폭발물 제조, 작전 보안 유지 등에 활용하고 있어 AI의 안전장치가 무력화되는 심각한 보안 위협을 보여줍니다. 특히 대중적인 챗봇을 넘어 생명과학 등 전문 분야의 특수 AI 모델이 생화학 무기 개발에 악용될 가능성에 대한 강력한 경고가 제기되고 있습니다.

번역된 본문

테러 단체가 공격 계획 및 무기 개발을 위해 모든 주요 AI 챗봇을 활용하고 있습니다. - Matthias Bastian이 작성함 (THE DECODER)

보도에 따르면, 이라크 레반트 이슬람 국가(ISIS)는 2023년부터 프롬프트 엔지니어링(Prompt Engineering) 및 챗봇의 안전 필터를 무력화하는 제일(Jailbreak) 훈련을 제공해 왔으며, 나이지리아의 보코 하람(Boko Haram) 지휘관들에게 AI 안전 필터를 우회하는 방법을 교육했습니다.

영국 케임브리지 AI 과학 및 정책 프로그램(CASP)의 연구원인 안토니아 율리히(Antonia Jülich)의 새로운 연구에 따르면, 보코 하람은 현재 ChatGPT, Claude, Gemini, Grok, Meta AI, DeepSeek 등 대중적인 AI 챗봇을 사용하고 있으며, 이들의 양대 파벌 모두 전담 AI 부대를 창설했습니다. 율리히는 해당 단체의 전 멤버 27명과 57차례의 인터뷰를 진행했습니다. 연구 결과, 이 단체는 공격 계획, 더 강력한 폭발 장치 제조, 무기 유지 보수 및 작전 보안을 위해 AI를 사용하는 것으로 나타났습니다.

ISIS 연락 담당관들은 지휘관들에게 안전 필터를 우회하는 방법을 교육했습니다. 보코 하람의 양대 파벌은 자체적인 전담 AI 부대를 구축했습니다. 율리히의 설명에 따르면, 그들은 "최고 인력들을 한 방에 모아 프로젝터와 대형 스크린을 이용해 작동 방식을 시연했습니다."

특히 황당했던 사례 중 하나로, ISWAP 파벌은 전투원들이 참호를 뛰어넘을 수 있도록 영화 속 오토바이 점프 기술을 AI를 통해 복제하여 훈련에 활용했습니다. 이 훈련 과정에서 18명의 전투원이 사망했으며, 단 8명만이 점프에 성공했습니다.

물론 AI의 활용은 이러한 오토바이 스턴트에 그치지 않습니다. 율리히는 "전직 멤버들은 AI에 대한 강한 열의를 보였으며, 일부는 이 단체가 이전에 대량 살상 무기를 고려했었다고 밝혔다"고 전했습니다. "보코 하람의 AI 사용은 여전히 기존 수준에 머물러 있지만, 테러리스트들이 화학 및 생물 무기 지원을 위해 AI를 추구하는 위험을 심각하게 받아들여야 한다는 경고로 작용해야 합니다."

OpenAI 및 Anthropic과 같은 연구원과 AI 연구소들은 오랫동안 AI 모델이 위험한 지식에 대한 접근성을 높일 수 있다고 경고해 왔습니다. 하지만 자발적인 자율 규제만으로는 분명히 부족해 보입니다. 연구에 따르면 안전 필터가 악용을 확실하게 막지 못했습니다. 이는 대규모 언어 모델(Large Language Models)의 본질적인 특성일 수 있습니다. Anthropic은 최근 제일(Jailbreak) 공격이 완전히 근절되지는 않을 것이라고 인정했습니다.

연구원들은 또한 ChatGPT 및 Claude와 같은 챗봇이 대중의 대부분의 관심을 끌고 있지만, 이것이 진정한 우려 사항은 아니라고 지적합니다. 왜냐하면 이들은 새로운 것을 생성하기보다는 기존 지식을 더 쉽게 찾을 수 있게 해줄 뿐이기 때문입니다. 더 큰 우려는 생명과학 분야의 보다 전문화된 AI 시스템이 악용될 가능성에 있습니다.

[광고 및 구독 유도 영역 번역 생략] 출처: X(구 트위터)를 통해 입수

원문 보기

원문 보기 (영어)

Terrorist groups are using every major AI chatbot for attack planning and weapons development Matthias Bastian View the LinkedIn Profile of Matthias Bastian Jul 11, 2026 Nano Banana Pro prompted by THE DECODER Ask about this article… Search ISIS has reportedly been offering prompt engineering and jailbreak training since 2023 and has trained Boko Haram commanders in Nigeria on how to bypass AI safety filters. Boko Haram now uses popular AI chatbots like ChatGPT, Claude, Gemini, Grok, Meta AI, and DeepSeek, and both of its factions have set up dedicated AI units, according to a new study by researcher Antonia Jülich of the Cambridge Programme on AI Science & Policy (CASP). Jülich conducted 57 interviews with 27 former members of the group. The group uses AI for attack planning, building more powerful explosive devices, weapons maintenance, and operational security, the study found. ISIS liaisons trained commanders on how to bypass safety filters. Both Boko Haram factions set up their own dedicated AI units. According to Jülich, they "assembled the top people in a room and used a projector to show how it works on a big screen." Ad In one particularly wild case, the ISWAP faction used AI to replicate motorcycle jumping techniques from a movie so fighters could clear trenches. Eighteen fighters died during training. Eight made the jump. Ad DEC_D_Incontent-1 But of course, it doesn't stop at motorcycle stunts. "Former members described strong enthusiasm for AI, and some said the group had previously considered mass-casualty weapons," Juelich writes . "Though Boko Haram's use of AI remains conventional, this should be a warning to take seriously the risk of terrorists pursuing AI assistance for chemical and biological weapons." Researchers as well as AI labs like OpenAI and Anthropic have long warned that AI models could make dangerous knowledge more accessible . But voluntary self-regulation apparently isn't cutting it, as the study found that safety filters failed to reliably prevent misuse. That may just be the nature of large language models: Anthropic recently admitted that jailbreaks will likely never be fully eliminated . Ad Researchers also point out that chatbots like ChatGPT and Claude, while they've grabbed most of the public's attention, aren't the real concern, because they mostly just make existing knowledge easier to find rather than generating anything new. The bigger worry is the potential misuse of more specialized AI systems in the life sciences . Ad DEC_D_Incontent-2 AI News Without the Hype – Curated by Humans Subscribe to THE DECODER for ad-free reading, a weekly AI newsletter, our exclusive "AI Radar" frontier report six times a year, full archive access, and access to our comment section. Subscribe now Source: via X

AI 안전 보안 테러 필터 우회 정책