Microsoft Research, LLM의 문서 편집 시 발생하는 '침묵의 오염' 경고

사용자들은 LLM의 '침묵의 오염' 문제에 대해 깊은 우려를 표하며, 특히 프로덕션 환경에서 자동화된 편집 워크플로를 운영하는 위험성을 인지하고 있습니다.

• LLM이 편집한 문서를 프로덕션에 적용하기 전 반드시 원본 문서와 텍스트 단위의 Diff 비교를 수행하십시오
• 긴 워크플로를 짧은 단위로 쪼개고 각 단계마다 무결성 검증 루프를 추가하십시오

Silent Corruption

— LLM이 문서를 편집하는 과정에서 구조나 형식은 유지하면서도 내부의 핵심 수치나 논리적 내용을 미세하게 변경하여 오류를 발생시키는 현상이다. 겉으로 보기에는 정상적인 문서처럼 보이기 때문에 자동화된 검증 없이 발견하기 매우 어렵고 시간이 지날수록 오류가 누적되는 특성이 있다.

Agentic Tool Use

— LLM이 스스로 외부 도구나 API를 호출하여 복잡한 작업을 수행하는 방식이다. 검색(Retrieval)이나 다단계 계획 수립을 포함하지만, 본 연구에서는 이러한 도구 활용이 문서 편집 과정에서의 데이터 오염을 줄이는 데 실질적인 도움을 주지 못하는 것으로 나타났다.

Distractor File

— LLM이 작업을 수행하는 작업 환경 내에 존재하는, 실제 작업과는 무관하지만 모델의 주의를 분산시킬 수 있는 파일들이다. 이러한 파일이 존재할 경우 모델의 컨텍스트 파악 능력이 저하되어 문서 오염률이 더욱 높아지는 경향을 보인다.