멀티 에이전트 LLM 시스템의 보안 취약점
최신 LLM 에이전트 시스템에 적용된 프롬프트 인젝션 공격 탐지기를 무력화시키는 새로운 '도메인 위장(Camouflage)' 기법이 연구진에 의해 확인되었습니다. 공격 페이로드를 특정 문서의 전문 용어와 권위적 구조로 위장할 경우 Llama 모델의 탐지율이 93.8%에서 9.7%로 급감하며, 상용 보안 분류기마저 이를 전혀 탐지하지 못하는 치명적인 맹점이 존재합니다.
컴퓨터 과학 > 암호학 및 보안 arXiv:2605.22001 (cs) [2026년 5월 21일 제출]
제목: 보안망의 맹점: 도메인 위장 인젝션 공격이 멀티 에이전트 LLM 시스템의 탐지를 회피하는 방법 (Blind Spots in the Guard: How Domain-Camouflaged Injection Attacks Evade Detection in Multi-Agent LLM Systems) 저자: Aaditya Pai
초록: LLM 에이전트를 보호하기 위해 배포된 인젝션 탐지기들은 일반적으로 지시어 덮어쓰기(Override)를 명시하는 정적이고 템플릿 기반의 페이로드(Payload)에 맞춰 보정되어 있습니다. 본 연구는 페이로드가 대상 문서의 도메인 어휘와 권위 구조를 모방하도록 생성될 때, 즉 우리가 '도메인 위장 인젝션(Domain Camouflaged Injection)'이라고 부르는 경우 표준 탐지기들이 이를 탐지하지 못하는 체계적인 맹점을 식별했습니다. 이로 인해 Llama 3.1 8B 모델의 탐지율은 93.8%에서 9.7%로, Gemini 2.0 Flash 모델의 탐지율은 100%에서 55.6%로 급감했습니다.
우리는 이를 정적 페이로드와 위장 페이로드 간의 인젝션 탐지율 차이를 나타내는 '위장 탐지 격차(CDG, Camouflage Detection Gap)'로 공식화했습니다. 세 가지 도메인과 두 가지 모델 계열에 걸쳐 45개의 작업을 수행한 결과, CDG는 매우 크고 통계적으로도 유의미했습니다(Llama의 경우 카이제곱 값 = 38.03, p < 0.001, Gemini의 경우 카이제곱 값 = 17.05, p < 0.001). 두 경우 모두 역 불일치 쌍(Reverse discordant pairs)이 0개였습니다.
또한 프로덕션 환경용 보안 분류기인 Llama Guard 3를 평가했는데, 이 모델은 위장 페이로드를 단 하나도 탐지하지 못했습니다(IDRcamouflage = 0.000). 이는 이러한 맹점이 퓨샷(Few-shot) 탐지기를 넘어 전용 보안 분류기에까지 확장된다는 것을 확인시켜 줍니다.
나아가 멀티 에이전트 토론(Debate) 아키텍처는 소규모 모델에서 정적 인젝션 공격의 영향력을 최대 9.9배까지 증폭시키는 반면, 더 강력한 모델들은 집단적 저항성을 보이는 것으로 나타났습니다. 타겟팅된 탐지기 보강은 부분적인 해결책만 제공할 뿐이며(Llama 탐지율 10.2% 개선, Gemini 78.7% 개선), 이는 취약점이 약한 모델의 구조적 문제임을 시사합니다.
우리의 프레임워크, 작업 뱅크, 페이로드 생성기는 공개적으로 배포되었습니다.
기타 정보:
- 코멘트: 8페이지, 그림 3개, 표 2개. EMNLP 2026 ARR 주기에 제출
- 주제: 암호학 및 보안 (cs.CR), 인공지능 (cs.AI), 컴퓨테이션 및 언어 (cs.CL)
- ACM 분류: I.2.7
- 인용: arXiv:2605.22001 [cs.CR]로 인용
- 제출 이력: Aaditya Pai [v1] 2026년 5월 21일 (목) 04:58:11 UTC (27 KB)