MS 워드 카피일럿을 통해 스스로 퍼지는 AI 웜 발견
외부 문서에 숨겨진 악의적 프롬프트가 MS 워드의 카피일럿(Copilot)을 교란하여, 문서를 수정하고 다른 문서로 스스로 전파되는 'AI 웜' 공격 사례가 확인되었습니다. 사용자가 모르는 사이에 감염된 문서가 사내에서 계속 재사용되며 2차 피해를 확산시킬 수 있어 매우 심각한 보안 위협입니다. 현재 완벽한 패치는 없으므로 외부 문서를 카피일럿과 연동할 때 각별한 주의가 필요합니다.
컨텍스트 붕괴(Context Collapse), 3부 - 워드 콘텐츠를 통한 AI 워밍(AI Worming)
본 기술 분석 및 공개된 취약점 완화에 협조해준 마이크로소프트 제품팀과 마이크로소프트 보안 대응 센터(MSRC)에 감사드립니다. 아래에 반영된 편집 의견은 오직 작성자 본인의 것이며, 협력한 조직의 의견을 반드시 반영하는 것은 아닙니다.
요약 이 게시물에 설명된 연구 결과는 MSRC 및 마이크로소프트 제품팀과의 조율된 공개(Coordinated disclosure)의 일환입니다. 마이크로소프트에는 재현 단계, 비디오, 환경 가정, 그리고 테스트 중에 사용된 정확한 개념 증명(PoC) 프롬프트가 제공되었습니다. 또한 공개 전 90일의 조정 기간이 있음을 통보받았습니다. 이는 두 번 연장되어 총 144일의 조정 기간을 거쳤습니다.
본 시리즈의 1부와 2부에서는 외부 입력이 카피일럿 응답에 어떻게 영향을 미칠 수 있는지, 그리고 일부 경우 크로스 도메인 프롬프트 삽입 공격(Cross-Domain Prompt Injection Attacks, XPIAs)을 통해 기밀성에 영향을 미칠 가능성을 보여주었습니다.
이 보고서는 이전 발견을 바탕으로 XPIA 분석을 단일 상호작용 탈취에서 신뢰할 수 있는 문서 워크플로우 전반으로 확장합니다. 이는 한 문서 내의 공격자 제어 지시사항이 카피일럿이 생성하거나 편집한 워드 문서로 복사될 수 있어, 다운스트림(결과물) 문서들이 동일한 공격의 새로운 매개체가 될 수 있음을 보여줍니다.
AI 웜의 사례는 이전에도 존재했습니다. 특히 Morris II는 생성형 AI 기반 이메일 어시스턴트 생태계에서 자가 복제 프롬프트 전파를 보여주었습니다. 하지만 저의 지식으로는, 이는 주류 상업용 생산성 제품군에서 일반 워크플로우를 통한 문서 매개 AI 웜의 자가 전파를 공개적으로 입증한 최초의 사례 중 하나입니다.
보고된 시나리오는 다음과 같습니다: 외부로 공유된 문서에 숨겨진 악의적 지시사항은 카피일럿이 워드에서 초안 작성 또는 편집 중인 문서를 변경하게 만들고, 새로운 문서로 공격을 전파할 수 있습니다.
공격의 전체 개요 공격: 공격자는 나중에 워드 내 카피일럿의 소스 자료로 사용되는 문서에 숨겨진 지시사항을 심습니다. 카피일럿은 이 지시사항을 사용자 요청의 일부로 해석하여, 작성 또는 편집 중인 문서를 조작할 수 있습니다. 그런 다음 카피일럿은 숨겨진 지시사항을 결과 문서에도 복사하여 해당 문서를 새로운 매개체로 만듭니다. 이 매개체가 이후에 다른 카피일럿 지원 워크플로우에서 사용되면, 공격자의 원래 문서가 없더라도 지시사항이 다시 트리거되어 더 많은 문서로 전파될 수 있습니다.
예시: 한 직원이 재무 보고서를 준비한다고 가정해 봅니다. 이 직원은 손상된 신뢰할 수 있는 웹사이트에서 시장 분석 자료를 다운로드하며, 문서에 숨겨진 지시사항이 있다는 사실을 모릅니다. 직원은 카피일럿으로 보고서를 작성할 때 해당 분석을 소스 자료로 포함시킵니다. 이 숨겨진 지시사항으로 인해 카피일럿은 재무 보고서의 내부 수치를 변경하고 공격 코드를 새 문서에 복사합니다. 직원은 외부상 정상적으로 보이는 이 보고서를 저장하여 사내에 공유합니다. 나중에 동료가 이 문서를 다른 보고서의 소스 자료로 사용하면 지시사항이 다시 트리거되어 새 보고서를 변경하고 스스로를 복제합니다. 따라서 이 공격은 손상된 웹사이트나 원래 악성 문서의 추가적인 개입 없이도 계속될 수 있습니다. 영향을 받은 보고서가 재사용됨에 따라 추가 보고서와 문서가 공격의 매개체가 될 수 있습니다.
게시 시점의 공개 상태 공급업체: 마이크로소프트 조율된 공개: MSRC 및 마이크로소프트 제품팀을 통해 처리됨 이 게시물에 포함된 내용: 마이크로소프트 워드용 카피일럿 내 XPIA 및 자가 전파 시나리오 고객 조치 사항: 게시 시점에서 이 문제를 완전히 해결하는 고객 측 수정 조치는 없습니다. 고객은 다음과 같이 노출을 줄일 수 있습니다:
- 카피일럿과 함께 사용할 때 외부에서 가져온 문서를 신뢰할 수 없는 것으로 취급하기.
- 카피일럿 생성 또는 편집을 시작하기 전에 첨부된 모든 문서를 검토하기.
- 생성된 결과물을 주의 깊게 검토하기.