Anthropic의 신모델 Opus 5가 자체 보안 소프트웨어와 결합했을 때, AI 에이전트의 가장 심각한 보안 취약점으로 꼽히는 '프롬프트 인젝션(Prompt Injection)' 공격을 0%의 성공률로 사실상 완벽하게 차단했습니다. 모델 자체의 방어력도 크게 향상되었지만, 완벽한 차단은 데이터를 사전에 검사하고 위험 명령을 차단하는 이중 보안 레이어(Auto Mode)가 활성화되었을 때 달성됩니다. 이는 프롬프트 인젝션을 완전히 막는 것은 불가능할 수 있다고 언급했던 기존 업계의 우려를 뒤집는 중요한 보안적 성과입니다.
터미널 제어용으로 쓰이는 ANSI 이스케이프 시퀀스를 악용해, 사용자 눈에는 보이지 않지만 AI 모델에게는 악성 지시문이 읽히도록 숨기는 새로운 프롬프트 인젝션 공격이 대두되었습니다. 특히 AI 에이전트와 연결되는 MCP 서버 환경에서 이 취약점이 치명적으로 작용할 수 있으며, DAST(동적 애플리케이션 보안 테스트) 스캐너를 통해 이를 탐지하고 방어하는 방안의 중요성이 강조됩니다.
오픈AI는 'GPT-Red'라는 내부 AI 모델을 도입하여 자체 GPT 모델의 보안 취약점을 자동으로 찾아내고 있습니다. 이 시스템은 인간 레드팀(보안 테스터)보다 훨씬 뛰어난 84%의 성공률로 프롬프트 인젝션(Prompt Injection) 등의 공격을 시뮬레이션하며, 이를 통해 모델의 보안을 대폭 강화했습니다. 이는 AI 모델의 자동화된 방어 및 진화 가능성을 입증했다는 점에서 매우 중요합니다.
클로드(Claude)의 메모리 시스템과 웹 검색 기능을 악용해 사용자의 대화 기록을 외부로 유출할 수 있는 취약점이 발견되었습니다. AI가 수집한 방대한 사용자 데이터가 해커의 유도에 따라 공격자 서버로 무단 전송될 수 있어 큰 보안 위협으로 평가됩니다.
최근 연구진은 AI 코딩 어시스턴트가 흔히 저지르는 '환각' 현상을 악용해 대규모 기기 감염을 유도하는 '할루스콰팅(HalluSquatting)' 공격 기법을 발표했습니다. 공격자는 AI가 존재하지 않는 패키지 이름을 착각하여 검색할 때 악성 패키지를 미리 등록해두어, 감염된 기기를 통한 봇넷 구축이나 랜섬웨어 유포에 악용할 수 있습니다. Cursor, GitHub Copilot 등 주요 개발 도구들이 이 공격에 취약하므로 개발자들은 제3자 코드 및 리소스를 불러올 때 각별한 주의가 필요합니다.
보안 연구진이 GitHub의 신규 AI 자동화 시스템(Agentic Workflows)에서 간접 프롬프트 인젝션(명령어 삽입) 취약점을 발견했습니다. 공개된 저장소에 악성 명령어가 숨겨진 이슈(Issue)를 등록하기만 하면, AI 에이전트가 속아 조직 내 비공개 저장소의 코드를 공개 댓글로 유출하게 됩니다. 개발자 권한이나 별도의 인증 없이도 누구나 쉽게 해킹을 실행할 수 있다는 점에서 매우 심각한 보안 위협으로 평가됩니다.
최신 연구에 따르면, 악성 웹사이트가 AI 브라우저를 속여 '가상 세계'로 몰아넣어 안전 장치를 무력화시킬 수 있는 치명적인 공격 기법이 확인되었습니다. 이를 통해 해커가 사용자의 기기에 저장된 민감한 정보나 자격 증명을 가로챌 수 있어, 시스템 권한을 가진 AI 브라우저 도입 시 보안 검토가 시급합니다.
개발자가 자신의 OpenClaw AI 어시스턴트(Fiu)를 대상으로 2,000명 이상의 사용자가 프롬프트 인젝션 공격을 시도하게 한 실험 결과, 6,000개가 넘는 이메일 공격에도 불구하고 기밀 파일이 단 한 번도 유출되지 않았습니다. Anthropic의 최상위 모델을 사용하여 단 몇 줄의 단순한 보안 지시사항만으로도 강력한 프롬프트 인젝션 방어가 가능함이 입증된 흥미로운 사례입니다.
유럽의 2위 디지털 은행인 번큐(Bunq)의 AI 어시스턴트에서 간접 프롬프트 인젝션(Indirect Prompt Injection) 취약점이 발견되었습니다. 공격자가 0.02유로를 송금하며 거래 내역에 악의적인 프롬프트를 숨기면, 피해자가 은행 앱에서 AI에게 질문할 때 AI가 이를 지시어로 인식하여 사용자를 겨냥한 정교한 피싱(스피어피싱) 공격을 자동으로 실행하게 됩니다. 이는 금융권 AI 시스템이 외부 데이터를 신뢰하고 처리하는 구조적 근본 결함을 보여주는 매우 중요한 보안 이슈입니다.
OpenAI가 악의적인 명령어가 숨겨진 콘텐츠로부터 민감한 데이터를 보호하기 위한 새로운 기능인 '잠금 모드(Lockdown Mode)'를 발표했습니다. 이 모드를 활성화하면 실시간 웹 브라우징, 이미지 검색, 심층 리서치, 에이전트 모드 등이 제한되며 데이터 유출 위험을 크게 줄일 수 있습니다. 이 기능은 민감한 데이터를 다루는 기업 및 사용자를 위해 현재 ChatGPT 비즈니스 계정 및 일부 개인 계정에 순차적으로 제공되고 있습니다.
최근 해커들이 메타의 AI 고객 지원 에이전트를 속여 인스타그램 계정을 탈취하는 사건이 발생했습니다. 이는 초지능 AI가 스스로 시스템을 해킹하는 것에 대한 우려가 커지는 가운데, 실제로는 AI 자체가 공격 표적이 되어 단순한 명령에 취약점을 노정했다는 점에서 중요성이 큽니다. 기업들이 업무를 AI에 맡기는 추세가 가속화됨에 따라, AI 에이전트에 대한 기본적인 보안 가드레일과 통제 구축이 시급해졌습니다.
Anthropic은 Claude를 활용한 에이전트 시스템 도입 시 발생할 수 있는 치명적인 오작동(폭발 반경)을 통제하기 위해 샌드박스 격리와 접근 권한 제한 기술을 적용했습니다. 특히 사용자의 알림 피로도(승인율 93%)를 낮추기 위해 자동 승인 모드를 도입하는 등 실제 운영 환경에서 겪은 보안 문제와 해결 과정을 공유합니다.
해커들이 메타의 AI 지원 챗봇에 프롬프트를 입력해 이중 인증(2FA)을 무력화하고 유명 인스타그램 계정을 탈취했습니다. 해커들은 공개된 사진을 AI 영상 생성기에 통과시켜 신원 확인 절차를 우회하고 계정을 암시장에서 매각했습니다. 이는 AI 시스템이 악의적인 명령과 정상적인 요청을 구분하지 못하는 '프롬프트 인젝션' 및 '혼란된 대리인(Confused deputy)' 공격의 대표적인 사례입니다.
OpenAI가 출시한 구글 시트용 ChatGPT 확장 프로그램에서 간접 프롬프트 인젝션(Indirect Prompt Injection) 공격을 통해 사용자의 스프레드시트 데이터가 외부로 유출될 수 있는 심각한 취약점이 발견되었습니다. 사용자가 자동 편집을 비활성화해도 공격이 실행되며, 악의적 스크립트를 통해 피싱(Phishing) 공격 및 다수의 통합 문서(Workbook) 유출이 가능합니다. 연구진의 책임 있는 공개(Responsible Disclosure)에도 불구하고 OpenAI가 이를 무시함에 따라 보안 위험이 알려지게 되었습니다.
자바 테스트 라이브러리인 jqwik 1.10.0 버전에 코딩 에이전트를 교란하기 위한 프롬프트 인젝션 문구가 포함되어 논란이 되었습니다. 이 업데이트는 개발자의 터미널에서는 보이지 않도록 ANSI 이스케이프 코드를 활용해 숨겨두고, CI 로그나 AI 에이전트가 읽을 때만 작동하도록 설계되었습니다. 이는 공급망 보안 및 AI 도구 사용에 있어 새로운 형태의 위협으로 평가받고 있습니다.
한 오픈소스 개발자가 자신이 만든 자바(Java) 테스트 엔진에 AI 코딩 에이전트의 기존 지시를 무시하고 테스트 코드를 전부 삭제하라는 '프롬프트 인젝션(Prompt Injection)' 공격 코드를 몰래 숨겨 넣어 논란이 일었다. 해당 코드는 사람의 눈에 띄지 않도록 터미널 화면에서 지워지는 기능까지 포함되어 있어 시스템에 치명적인 피해를 줄 수 있다는 비판을 받고 있다. 이 사건은 생성형 AI 도구의 무분별한 사용에 맞서는 '바이브 코딩(Vibe Coding)' 반발 운동이 개발자 윤리를 넘어선 위험한 수준으로 번지고 있음을 보여준다.
최신 LLM 에이전트 시스템에 적용된 프롬프트 인젝션 공격 탐지기를 무력화시키는 새로운 '도메인 위장(Camouflage)' 기법이 연구진에 의해 확인되었습니다. 공격 페이로드를 특정 문서의 전문 용어와 권위적 구조로 위장할 경우 Llama 모델의 탐지율이 93.8%에서 9.7%로 급감하며, 상용 보안 분류기마저 이를 전혀 탐지하지 못하는 치명적인 맹점이 존재합니다.
엑스(X) 플랫폼의 한 사용자가 모스 부호로 된 숨겨진 명령어를 통해 AI 챗봇 '그록(Grok)'을 속여 약 20만 달러(약 3억 DRB 토큰) 규모의 가상화폐를 무단 전송받는 사건이 발생했습니다. 공격자는 그록과 자동 트레이딩 봇인 '뱅커봇(Bankrbot)' 간의 연동 취약점과 권한 상승을 악용하여 즉시 토큰을 매각했으며, 이는 AI 에이전트의 자산 제어 및 보안 가드레일의 심각한 한계를 보여주는 사례입니다.
해커뉴스에 공개된 이 기법은 최신 AI 모델들의 정치적 올바름(Political Correctness)과 안전 가드레일의 허점을 악용하는 새로운 프롬프트 인젝션 방식입니다. 성소수자 커뮤니티에 대한 거절이 혐오로 간주되는 것을 우려하는 AI의 특성을 역이용해, 마약 합성이나 악성코드 작성 같은 유해 정보를 우회적으로 추출해 냅니다. 최신 모델일수록 편향 방지 장치가 강화되어 있어 오히려 이 공격에 더 취약해지는 기이한 역설을 보여줍니다.
기업 지출 관리 플랫폼 램프(Ramp)의 스프레드시트 AI 에이전트에서 사용자 동의 없이 악성 수식을 삽입해 외부로 데이터를 유출할 수 있는 치명적인 취약점이 발견되었습니다. 해커가 제공한 외부 데이터에 숨겨진 간접 프롬프트 인젝션(Prompt Injection) 공격을 통해 기밀 재무 데이터가 공격자 서버로 전송될 수 있습니다. 해당 취약점은 보안 연구팀의 책임 있는 공개(Responsible Disclosure) 절차를 통해 2026년 3월 16일에 성공적으로 패치 및 해결되었습니다.