메뉴
HN
Hacker News 2시간 전

MS 워드 카피일럿을 통해 스스로 퍼지는 AI 웜 발견

IMP
9/10
핵심 요약

외부 문서에 숨겨진 악의적 프롬프트가 MS 워드의 카피일럿(Copilot)을 교란하여, 문서를 수정하고 다른 문서로 스스로 전파되는 'AI 웜' 공격 사례가 확인되었습니다. 사용자가 모르는 사이에 감염된 문서가 사내에서 계속 재사용되며 2차 피해를 확산시킬 수 있어 매우 심각한 보안 위협입니다. 현재 완벽한 패치는 없으므로 외부 문서를 카피일럿과 연동할 때 각별한 주의가 필요합니다.

번역된 본문

컨텍스트 붕괴(Context Collapse), 3부 - 워드 콘텐츠를 통한 AI 워밍(AI Worming)

본 기술 분석 및 공개된 취약점 완화에 협조해준 마이크로소프트 제품팀과 마이크로소프트 보안 대응 센터(MSRC)에 감사드립니다. 아래에 반영된 편집 의견은 오직 작성자 본인의 것이며, 협력한 조직의 의견을 반드시 반영하는 것은 아닙니다.

요약 이 게시물에 설명된 연구 결과는 MSRC 및 마이크로소프트 제품팀과의 조율된 공개(Coordinated disclosure)의 일환입니다. 마이크로소프트에는 재현 단계, 비디오, 환경 가정, 그리고 테스트 중에 사용된 정확한 개념 증명(PoC) 프롬프트가 제공되었습니다. 또한 공개 전 90일의 조정 기간이 있음을 통보받았습니다. 이는 두 번 연장되어 총 144일의 조정 기간을 거쳤습니다.

본 시리즈의 1부와 2부에서는 외부 입력이 카피일럿 응답에 어떻게 영향을 미칠 수 있는지, 그리고 일부 경우 크로스 도메인 프롬프트 삽입 공격(Cross-Domain Prompt Injection Attacks, XPIAs)을 통해 기밀성에 영향을 미칠 가능성을 보여주었습니다.

이 보고서는 이전 발견을 바탕으로 XPIA 분석을 단일 상호작용 탈취에서 신뢰할 수 있는 문서 워크플로우 전반으로 확장합니다. 이는 한 문서 내의 공격자 제어 지시사항이 카피일럿이 생성하거나 편집한 워드 문서로 복사될 수 있어, 다운스트림(결과물) 문서들이 동일한 공격의 새로운 매개체가 될 수 있음을 보여줍니다.

AI 웜의 사례는 이전에도 존재했습니다. 특히 Morris II는 생성형 AI 기반 이메일 어시스턴트 생태계에서 자가 복제 프롬프트 전파를 보여주었습니다. 하지만 저의 지식으로는, 이는 주류 상업용 생산성 제품군에서 일반 워크플로우를 통한 문서 매개 AI 웜의 자가 전파를 공개적으로 입증한 최초의 사례 중 하나입니다.

보고된 시나리오는 다음과 같습니다: 외부로 공유된 문서에 숨겨진 악의적 지시사항은 카피일럿이 워드에서 초안 작성 또는 편집 중인 문서를 변경하게 만들고, 새로운 문서로 공격을 전파할 수 있습니다.

공격의 전체 개요 공격: 공격자는 나중에 워드 내 카피일럿의 소스 자료로 사용되는 문서에 숨겨진 지시사항을 심습니다. 카피일럿은 이 지시사항을 사용자 요청의 일부로 해석하여, 작성 또는 편집 중인 문서를 조작할 수 있습니다. 그런 다음 카피일럿은 숨겨진 지시사항을 결과 문서에도 복사하여 해당 문서를 새로운 매개체로 만듭니다. 이 매개체가 이후에 다른 카피일럿 지원 워크플로우에서 사용되면, 공격자의 원래 문서가 없더라도 지시사항이 다시 트리거되어 더 많은 문서로 전파될 수 있습니다.

예시: 한 직원이 재무 보고서를 준비한다고 가정해 봅니다. 이 직원은 손상된 신뢰할 수 있는 웹사이트에서 시장 분석 자료를 다운로드하며, 문서에 숨겨진 지시사항이 있다는 사실을 모릅니다. 직원은 카피일럿으로 보고서를 작성할 때 해당 분석을 소스 자료로 포함시킵니다. 이 숨겨진 지시사항으로 인해 카피일럿은 재무 보고서의 내부 수치를 변경하고 공격 코드를 새 문서에 복사합니다. 직원은 외부상 정상적으로 보이는 이 보고서를 저장하여 사내에 공유합니다. 나중에 동료가 이 문서를 다른 보고서의 소스 자료로 사용하면 지시사항이 다시 트리거되어 새 보고서를 변경하고 스스로를 복제합니다. 따라서 이 공격은 손상된 웹사이트나 원래 악성 문서의 추가적인 개입 없이도 계속될 수 있습니다. 영향을 받은 보고서가 재사용됨에 따라 추가 보고서와 문서가 공격의 매개체가 될 수 있습니다.

게시 시점의 공개 상태 공급업체: 마이크로소프트 조율된 공개: MSRC 및 마이크로소프트 제품팀을 통해 처리됨 이 게시물에 포함된 내용: 마이크로소프트 워드용 카피일럿 내 XPIA 및 자가 전파 시나리오 고객 조치 사항: 게시 시점에서 이 문제를 완전히 해결하는 고객 측 수정 조치는 없습니다. 고객은 다음과 같이 노출을 줄일 수 있습니다:

  • 카피일럿과 함께 사용할 때 외부에서 가져온 문서를 신뢰할 수 없는 것으로 취급하기.
  • 카피일럿 생성 또는 편집을 시작하기 전에 첨부된 모든 문서를 검토하기.
  • 생성된 결과물을 주의 깊게 검토하기.
원문 보기
원문 보기 (영어)
Context Collapse, Part 3 - AI Worming through Word Contents Context Collapse, Part 3 - AI Worming through Word I would like to thank Microsoft product teams and Microsoft Security Response Center (MSRC) for collaborating with me on this technical analysis and mitigation of the disclosed vulnerabilities. The editorial opinions reflected below are solely the author’s and do not necessarily reflect those of the organizations I collaborated with. Summary The findings described in this post are part of a coordinated disclosure with MSRC and Microsoft product teams. Microsoft was provided with reproduction steps, videos, environmental assumptions, and the exact proof-of-concept (PoC) prompts used during testing. They were also informed of a 90-day coordination period before disclosure. This was extended two times, resulting a 144-day coordination period. In parts 1 and 2 in this series, I have shown how external inputs could influence Copilot responses and, in some cases, potentially lead to confidentiality impacts through Cross-Domain Prompt Injection Attacks (XPIAs) . This report builds on those findings and extends the XPIA analysis from single-interaction compromise to propagation across trusted document workflows. It shows that attacker-controlled instructions in one document can be copied into Copilot-generated or Copilot-edited Word documents, causing those downstream documents to become new carriers of the same attack. Previous examples of AI-worms exist. Notably, Morris II demonstrated self-replicating prompt propagation in GenAI-powered email-assistant ecosystems. However, to my knowledge, this is among the first public demonstrations of document-borne AI-worm self-propagation through normal workflows in a mainstream commercial productivity suite. The reported scenario is: Malicious instructions hidden in an externally shared document could make Copilot alter drafted or edited documents in Word and propagate the attack to new documents. The full attack in brief The attack An attacker places hidden instructions in a document that is later used as source material in Copilot for Word. Copilot may interpret those instructions as part of the user’s request, causing it to manipulate the document being drafted or edited. Copilot may then also copy the hidden instructions into the resulting document, turning that document into a new carrier. If the carrier is subsequently used in another Copilot-assisted workflow, the instructions can trigger again and propagate into further documents, even without the attacker’s original document being present. Example Consider an employee preparing a financial report. The employee downloads a market analysis from a trusted website that has been compromised, unaware that the document contains hidden instructions. The employee then includes the analysis as source material when drafting the report with Copilot. The hidden instructions cause Copilot to alter internal figures in the financial report and copy the attack into the new document. The employee saves and shares the apparently legitimate report internally. Later, a colleague uses it as source material for another report; the instructions trigger again, alter the new report, and copy themselves forward. The attack can therefore continue without further involvement from either the compromised website or the original malicious document. As affected reports are reused, additional reports and documents can become carriers of the attack. Disclosure status at publication Vendor: Microsoft Coordinated disclosure: Handled through MSRC and Microsoft product teams Included in this post: XPIA and self-propagation scenario in Microsoft Copilot for Word Customer action: No customer-side remediation fully addresses the issue at the time of publication. Customers can reduce exposure by: Treating externally sourced documents as untrusted when used with Copilot. Reviewing any attached document before starting a Copilot generation or edit. Carefully reviewing Copilot-generated or Copilot-edited documents before reusing, sharing, or distributing them. Microsoft-side status: Testing has reproduced the attack with all current mitigations deployed. At the time of publication, no robust mitigation for the broader vulnerability class is available. A note on disclosing before a fix Unlike Parts 1 and 2, this scenario remains exploitable at publication. I have weighed that carefully. The coordination period agreed with Microsoft has been exhausted, and testing shows that no robust mitigation for the broader vulnerability class is currently available. Two mitigation attempts, including a model upgrade, did not close the class. I have therefore chosen to disclose at the class level rather than the payload level. My reasoning is that defenders cannot reduce exposure to a risk they are unaware of, and the propagation mechanism described here affects ordinary document workflows that many organizations already rely on. Withholding the existence of the issue would leave those organizations unable to make an informed decision, while providing no additional protection. Disclosure timeline 2026-03-06 : Initial report submitted to MSRC with reproduction steps, videos, environmental assumptions, and PoC prompts. 2026-03-09 : MSRC acknowledged receipt and opened a case. 2026-03-31 : Microsoft confirms the reported behavior. 2026-03-31 : Microsoft product teams began mitigation work; ongoing technical discussion. 2026-04-03 : First mitigation go-live (The new “Edit with Copilot” experience) 2026-04-09 : Original attack prompt wording verified mitigated with “Edit with Copilot”. 2026-04-09 : Attack behavior reproduced in “Edit with Copilot” using a new XPIA prompt task (manipulating financials). Reported as separate case to MSRC. 2026-04-10 : MSRC acknowledged receipt and opened a case. 2026-04-10 : Microsoft product teams began mitigation work; ongoing technical discussion. 2026-06-08 : At Microsoft’s request, public disclosure was moved to 2026-07-15. 2026-07-14 : Second mitigation fix go-live. This mitigation consisted of upgrading the underlying model to GPT-5.5. 2026-07-15 : Successful exploit with worming reproduced using GPT-5.6, the latest available model at the time. 2026-07-15 : I suggest we postpone disclosure a further two weeks to 2026-07-28, to allow time for a new mitigation. 2026-07-15 : Microsoft agreed. 2026-07-28 : Attack still reproduces. 2026-07-28 : Coordinated public disclosure (this post). Threat model The attacker does not need access to the victim’s Microsoft 365 tenant. The attacker only needs to share a malicious document with the victim. This can be done through SharePoint, Teams, Outlook or any other way of sharing documents. Security boundary and observed behavior The relevant security boundary in this scenario is the boundary between attached documents and the current drafting document. If any of the attached documents contain an XPIA the attack may trigger. Copilot must read every attached document to determine which parts to include in its current drafting task. However, attached documents should be treated as untrusted information, not trusted user instruction. Boundary violation Attacker-controlled documents are downloaded or shared through email/sharepoint/other sharing option. If such documents are attached to Copilot during a drafting task, trust is broken. Expected behavior When a user asks Copilot to draft e.g. a Q1 financial report based on attached documents, Copilot should utilize the information in the attached documents without treating instructions embedded within documents as authoritative instructions. Observed behavior Instructions embedded in documents cause Copilot to alter its behavior. Here presented as: 1: Copilot silently changing numerical values in financial reports 2: Copilot propagating the full XPIA by pasting into downstream documents, which may then be used as attachments in later drafting sessions\ Crossing the trust boundary in Word The ini