Microsoft Research, LLM의 문서 편집 시 발생하는 '침묵의 오염' 경고

사용자들은 LLM의 '침묵의 오염' 문제에 대해 깊은 우려를 표하며, 특히 프로덕션 환경에서 자동화된 편집 워크플로를 운영하는 위험성을 인지하고 있습니다.

• LLM이 편집한 문서를 프로덕션에 적용하기 전 반드시 원본 문서와 텍스트 단위의 Diff 비교를 수행하십시오
• 긴 워크플로를 짧은 단위로 쪼개고 각 단계마다 무결성 검증 루프를 추가하십시오

• DELEGATE-52 벤치마크 결과, 최신 LLM도 20회 이상의 연속 편집 작업 시 문서 내용의 약 25%를 잘못 수정하는 경향이 있다
• 에이전트의 도구 활용이나 검색 증강 기법이 문서 편집의 정확도를 높이는 데 실질적인 도움을 주지 못함이 확인됐다
• 문서 크기가 크고 작업 환경이 복잡할수록 데이터 오염 속도가 빨라지므로 프로덕션 환경에서의 주의가 필요하다
• LLM이 편집한 결과물은 겉보기에 완벽하더라도 내부 데이터가 유실되거나 병합될 수 있어 원본과의 Diff 검증이 필수적이다