메뉴
HN
Hacker News 8일 전

멀티 에이전트 LLM 시스템의 보안 취약점

IMP
8/10
핵심 요약

최신 LLM 에이전트 시스템에 적용된 프롬프트 인젝션 공격 탐지기를 무력화시키는 새로운 '도메인 위장(Camouflage)' 기법이 연구진에 의해 확인되었습니다. 공격 페이로드를 특정 문서의 전문 용어와 권위적 구조로 위장할 경우 Llama 모델의 탐지율이 93.8%에서 9.7%로 급감하며, 상용 보안 분류기마저 이를 전혀 탐지하지 못하는 치명적인 맹점이 존재합니다.

번역된 본문

컴퓨터 과학 > 암호학 및 보안 arXiv:2605.22001 (cs) [2026년 5월 21일 제출]

제목: 보안망의 맹점: 도메인 위장 인젝션 공격이 멀티 에이전트 LLM 시스템의 탐지를 회피하는 방법 (Blind Spots in the Guard: How Domain-Camouflaged Injection Attacks Evade Detection in Multi-Agent LLM Systems) 저자: Aaditya Pai

초록: LLM 에이전트를 보호하기 위해 배포된 인젝션 탐지기들은 일반적으로 지시어 덮어쓰기(Override)를 명시하는 정적이고 템플릿 기반의 페이로드(Payload)에 맞춰 보정되어 있습니다. 본 연구는 페이로드가 대상 문서의 도메인 어휘와 권위 구조를 모방하도록 생성될 때, 즉 우리가 '도메인 위장 인젝션(Domain Camouflaged Injection)'이라고 부르는 경우 표준 탐지기들이 이를 탐지하지 못하는 체계적인 맹점을 식별했습니다. 이로 인해 Llama 3.1 8B 모델의 탐지율은 93.8%에서 9.7%로, Gemini 2.0 Flash 모델의 탐지율은 100%에서 55.6%로 급감했습니다.

우리는 이를 정적 페이로드와 위장 페이로드 간의 인젝션 탐지율 차이를 나타내는 '위장 탐지 격차(CDG, Camouflage Detection Gap)'로 공식화했습니다. 세 가지 도메인과 두 가지 모델 계열에 걸쳐 45개의 작업을 수행한 결과, CDG는 매우 크고 통계적으로도 유의미했습니다(Llama의 경우 카이제곱 값 = 38.03, p < 0.001, Gemini의 경우 카이제곱 값 = 17.05, p < 0.001). 두 경우 모두 역 불일치 쌍(Reverse discordant pairs)이 0개였습니다.

또한 프로덕션 환경용 보안 분류기인 Llama Guard 3를 평가했는데, 이 모델은 위장 페이로드를 단 하나도 탐지하지 못했습니다(IDRcamouflage = 0.000). 이는 이러한 맹점이 퓨샷(Few-shot) 탐지기를 넘어 전용 보안 분류기에까지 확장된다는 것을 확인시켜 줍니다.

나아가 멀티 에이전트 토론(Debate) 아키텍처는 소규모 모델에서 정적 인젝션 공격의 영향력을 최대 9.9배까지 증폭시키는 반면, 더 강력한 모델들은 집단적 저항성을 보이는 것으로 나타났습니다. 타겟팅된 탐지기 보강은 부분적인 해결책만 제공할 뿐이며(Llama 탐지율 10.2% 개선, Gemini 78.7% 개선), 이는 취약점이 약한 모델의 구조적 문제임을 시사합니다.

우리의 프레임워크, 작업 뱅크, 페이로드 생성기는 공개적으로 배포되었습니다.

기타 정보:

  • 코멘트: 8페이지, 그림 3개, 표 2개. EMNLP 2026 ARR 주기에 제출
  • 주제: 암호학 및 보안 (cs.CR), 인공지능 (cs.AI), 컴퓨테이션 및 언어 (cs.CL)
  • ACM 분류: I.2.7
  • 인용: arXiv:2605.22001 [cs.CR]로 인용
  • 제출 이력: Aaditya Pai [v1] 2026년 5월 21일 (목) 04:58:11 UTC (27 KB)
원문 보기
원문 보기 (영어)
--> Computer Science > Cryptography and Security arXiv:2605.22001 (cs) [Submitted on 21 May 2026] Title: Blind Spots in the Guard: How Domain-Camouflaged Injection Attacks Evade Detection in Multi-Agent LLM Systems Authors: Aaditya Pai View a PDF of the paper titled Blind Spots in the Guard: How Domain-Camouflaged Injection Attacks Evade Detection in Multi-Agent LLM Systems, by Aaditya Pai View PDF HTML (experimental) Abstract: Injection detectors deployed to protect LLM agents are calibrated on static, template-based payloads that announce themselves as override directives. We identify a systematic blind spot: when payloads are generated to mimic the domain vocabulary and authority structures of the target document, what we call domain camouflaged injection, standard detectors fail to flag them, with detection rates dropping from 93.8% to 9.7% on Llama 3.1 8B and from 100% to 55.6% on Gemini 2.0 Flash. We formalize this as the Camouflage Detection Gap (CDG), the difference in injection detection rate between static and camouflaged payloads. Across 45 tasks spanning three domains and two model families, CDG is large and statistically significant (chi^2 = 38.03, p < 0.001 for Llama; chi^2 = 17.05, p < 0.001 for Gemini), with zero reverse discordant pairs in either case. We additionally evaluate Llama Guard 3, a production safety classifier, which detects zero camouflage payloads (IDRcamouflage = 0.000), confirming that the blind spot extends beyond few-shot detectors to dedicated safety classifiers. We further show that multi-agent debate architectures amplify static injection attacks by up to 9.9x on smaller models, while stronger models show collective resistance. Targeted detector augmentation provides only partial remediation (10.2% improvement on Llama, 78.7% on Gemini), suggesting the vulnerability is architectural rather than incidental for weaker models. Our framework, task bank, and payload generator are released publicly. Comments: 8 pages, 3 figures, 2 tables. Submitted to EMNLP 2026 ARR cycle Subjects: Cryptography and Security (cs.CR) ; Artificial Intelligence (cs.AI); Computation and Language (cs.CL) ACM classes: I.2.7 Cite as: arXiv:2605.22001 [cs.CR] (or arXiv:2605.22001v1 [cs.CR] for this version) https://doi.org/10.48550/arXiv.2605.22001 Focus to learn more arXiv-issued DOI via DataCite (pending registration) Submission history From: Aaditya Pai [ view email ] [v1] Thu, 21 May 2026 04:58:11 UTC (27 KB) Full-text links: Access Paper: View a PDF of the paper titled Blind Spots in the Guard: How Domain-Camouflaged Injection Attacks Evade Detection in Multi-Agent LLM Systems, by Aaditya Pai View PDF HTML (experimental) TeX Source view license Current browse context: cs.CR < prev | next > new | recent | 2026-05 Change to browse by: cs cs.AI cs.CL References & Citations NASA ADS Google Scholar Semantic Scholar export BibTeX citation Loading... BibTeX formatted citation &times; loading... Data provided by: Bookmark Bibliographic Tools Bibliographic and Citation Tools Bibliographic Explorer Toggle Bibliographic Explorer ( What is the Explorer? ) Connected Papers Toggle Connected Papers ( What is Connected Papers? ) Litmaps Toggle Litmaps ( What is Litmaps? ) scite.ai Toggle scite Smart Citations ( What are Smart Citations? ) Code, Data, Media Code, Data and Media Associated with this Article alphaXiv Toggle alphaXiv ( What is alphaXiv? ) Links to Code Toggle CatalyzeX Code Finder for Papers ( What is CatalyzeX? ) DagsHub Toggle DagsHub ( What is DagsHub? ) GotitPub Toggle Gotit.pub ( What is GotitPub? ) Huggingface Toggle Hugging Face ( What is Huggingface? ) ScienceCast Toggle ScienceCast ( What is ScienceCast? ) Demos Demos Replicate Toggle Replicate ( What is Replicate? ) Spaces Toggle Hugging Face Spaces ( What is Spaces? ) Spaces Toggle TXYZ.AI ( What is TXYZ.AI? ) Related Papers Recommenders and Search Tools Link to Influence Flower Influence Flower ( What are Influence Flowers? ) Core recommender toggle CORE Recommender ( What is CORE? ) Author Venue Institution Topic About arXivLabs arXivLabs: experimental projects with community collaborators arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website. Both individuals and organizations that work with arXivLabs have embraced and accepted our values of openness, community, excellence, and user data privacy. arXiv is committed to these values and only works with partners that adhere to them. Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs . Which authors of this paper are endorsers? | Disable MathJax ( What is MathJax? )