TL;DR
문서에 백색 글씨 등으로 숨겨진 지시를 삽입하면 Copilot for Word가 이를 컨텍스트로 읽어 문서를 편집하고 동일 지시를 결과물에 복사해 넣을 수 있음이 확인됐다. 이 복사 동작이 이어지면 결과 문서 자체가 자기복제형 웜 역할을 하여 다른 Copilot 워크플로우에서 재전파될 수 있음이 확인됐다. 해당 문제는 Microsoft에 책임 보고되어 144일의 수정 기간이 주어졌으나 범용 완화책은 아직 확인되지 않았다.
섹션별 상세
용어 해설
- 프롬프트 인젝션(Prompt injection)
- — 프롬프트 인젝션은 입력 문서나 사용자 입력 안에 숨겨진 명령을 넣어 모델이 악의적 지시를 따르게 만드는 공격 기법이다. 공격자는 문서를 모델의 컨텍스트로 제공되도록 구성하고, 모델이 해당 지시를 요청의 일부로 해석하도록 유도한다. 실제로 모델이 문서 내용을 생성 결과에 반영하거나 복사하면 공격 지시가 전파될 수 있음이 확인됐다.
- 자기복제 웜(Self-replicating worm)
- — 자기복제 웜은 한 번 활성화되면 스스로를 다른 파일이나 문서에 복사하여 확산하는 악성 코드 패턴이다. Copilot for Word 사례에서는 숨겨진 지시문이 생성된 문서에도 복사되어 후속 Copilot 워크플로우에서 재실행되는 방식으로 복제 경로가 형성되었다. 원본 문서가 없어도 복제된 문서만으로 추가 전파가 가능하다는 점이 문제로 지적됐다.
- 백지 위장 텍스트(Hidden white-on-white text)
- — 백지 위장 텍스트는 배경과 동일한 색상의 글씨로 사람 눈에 잘 보이지 않게 문서에 삽입된 텍스트이다. 공격자는 이 방식으로 문서에 명령어를 숨기고, 사람이 보지 못해도 모델이 텍스트를 컨텍스트로 읽어들이도록 유도했다. 이전에는 이 방식이 이력서·지원서 변조에 사용된 사례가 보고된 바 있다.
근거 모음
- 공격자가 숨겨진 지시를 문서에 넣으면 Copilot이 이를 사용자 요청으로 해석해 문서를 조작하고 조작 결과에 숨겨진 지시를 복사하여 새로운 캐리어로 만든다. — 원문 블로그의 인용문에서 "Copilot may interpret those instructions as part of the user’s request, causing it to manipulate the document being drafted or edited. Copilot may then also copy the hidden instructions into the resulting document"라고 기술되어 있음. 원문 URL: https://enklypesalt.com/posts/context-collapse-part3-ai-worming-through-word/ 출처
- 문제가 Microsoft에 책임 보고되었고 수정 기간으로 144일이 할당되었으나 기사 시점에는 전체 공격 범주를 막는 완전한 완화책이 존재하지 않았다. — 원문 요약에서 보고와 144일의 수정 기간이 언급되며, 'so far (unsurprisingly) there's no mitigation that covers the full class of attack'로 현재 완전한 대응이 부재함이 표기되어 있음. 관련 문서는 위 원문과 Hacker News 토론을 참조할 수 있음. 출처
기술
- Copilot for Word
- Microsoft Word
활용 사례
- 문서 기반 워크플로우에서 보안 취약점 탐지와 공격 시나리오 재현에 활용할 수 있다.
- 기업 내부에서 Copilot 연동 문서 템플릿을 검증해 잠재적 자기복제 지시를 차단하는 방어책을 설계할 수 있다.
- 보안 팀은 이 사례를 바탕으로 입력 필터링, 출력을 스캔해 숨은 텍스트를 제거하는 프로세스를 도입할 수 있다.
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
