TL;DR
미국의 한 소송 당사자가 사람이 읽을 때는 보이지 않고 AI 시스템에는 읽히는 지시문을 법원 제출 서류에 숨겨 AI의 문서 검토 결과를 자신에게 유리하게 유도하려 했습니다. 삽입된 문구는 원고 측 주장과 일치하는 출력을 만들고 법원의 이전 기각을 무시하며 원하는 구제 조치를 따르도록 AI에 지시했습니다. Connecticut주 법원은 숨은 텍스트가 실제 판단에 영향을 주지 않았다고 밝혔지만, 판사는 이런 방식이 위험한 선례가 될 수 있다고 평가했습니다. 법원에서 AI 도구 사용이 늘어날수록 문서 텍스트에 악성 지시를 숨기는 공격을 탐지하는 절차가 중요해집니다.
섹션별 상세
용어 해설
- 숨은 텍스트(Hidden Text)
- — 사람이 문서를 읽을 때는 보이지 않지만 텍스트를 처리하는 소프트웨어에는 읽히도록 삽입한 문구입니다. 이 사건에서는 법원 제출 서류에 숨은 지시문을 넣어 AI가 문서를 읽을 때 특정 결론을 따르도록 유도하려는 수단으로 사용됐습니다.
- 프롬프트 인젝션(Prompt Injection)
- — AI가 입력 문서 안의 악의적인 지시를 따르도록 유도하는 공격 방식입니다. 기사 속 문구는 AI 시스템에 원고 측 주장과 일치하는 출력을 내고 법원의 이전 기각을 무시하도록 지시해, 문서 내용이 아니라 삽입된 명령이 처리 결과에 영향을 주도록 설계됐습니다.
- 법원 제출 서류(Court Filing)
- — 소송 당사자가 법원에 제출하는 주장과 근거가 담긴 공식 문서입니다. 이번 사건에서는 제출 서류의 일반적인 독자와 텍스트를 읽는 AI 시스템이 서로 다른 내용을 접하도록 문서 형식을 조작하려는 시도가 문제로 제기됐습니다.
- AI 기반 법원 문서 검토(AI-Assisted Court Review)
- — 법원 시스템에서 AI 도구가 제출 문서의 텍스트를 읽거나 처리하는 방식입니다. 기사에서는 법원이 AI 도구를 더 널리 사용할수록 사람이 알아채기 어려운 지시문을 문서에 숨겨 판독 과정에 개입하려는 공격이 반복될 가능성을 지적합니다.
기술
- AI tools
- AI system
활용 사례
- 법원 제출 서류의 AI 기반 검토
- 법률 문서 처리 시스템의 입력 보안
- AI 판독 과정에 대한 악성 지시문 탐지
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.