OOXML 파일의 LLM 섭취 과정에서 발생하는 증거 불일치 문제

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

LLM 파이프라인은 OOXML 파일을 신뢰할 수 있는 증거로 간주하지만, 실제로는 MS Office 편집 화면과 LLM 추출 결과 간에 정보 불일치가 발생한다. 연구진은 이를 '증거 분기(evidence forks)'라 명명하고, 21가지의 기술적 메커니즘을 확인했다. 13개 추출 도구와 11개 LLM 인터페이스를 테스트한 결과, 대다수 환경에서 사용자가 볼 수 없는 숨겨진 데이터가 모델에 유입되는 현상이 나타났다. 이는 RAG 기반의 금융 및 규정 준수 워크플로우에서 심각한 데이터 무결성 문제를 야기한다.

섹션별 상세

LLM 파이프라인은 OOXML 파일을 신뢰할 수 있는 증거로 간주하며, 파일 내용과 MS Office 편집 화면이 동일할 것이라는 가정에 의존한다. 하지만 동일한 OOXML 파일이 뷰어에 따라 서로 다른 증거를 제시하는 '복수 진실(plural ground truth)' 문제가 존재한다.

연구진은 OOXML 명세를 분석하여 뷰 구성의 6개 차원에 걸쳐 21개의 '증거 분기(evidence forks)'를 확인했다. 이는 명세에 부합하는 구조임에도 불구하고, 추출 도구의 해석 방식에 따라 모델이 인지하는 정보가 달라지는 기술적 메커니즘이다.

13개의 추출 도구와 11개의 LLM 인터페이스를 대상으로 한 실험에서, 48%에서 76%의 비율로 사용자가 Office에서 볼 수 없는 '함정(trap)' 데이터가 모델에 유입되었다. 이는 추출기 설정과 경로가 모델의 입력 데이터를 결정짓는 핵심 변수임을 입증한다.

이러한 증거 불일치는 RAG 기반의 금융 및 규정 준수 워크플로우에서 심각한 데이터 무결성 위험을 초래한다. 현재의 LLM 프로젝트들은 이러한 취약한 기본 추출 경로를 사용하고 있어, 문서 처리 파이프라인의 신뢰성 확보가 시급하다.

용어 해설

Office Open XML(OOXML): — Microsoft Office 제품군(Word, Excel, PowerPoint)에서 사용하는 표준 문서 파일 형식이다. LLM 파이프라인에서 이 형식을 데이터 소스로 직접 섭취할 때, 파일 내부 구조와 사용자에게 보이는 편집 화면 간의 불일치가 발생할 수 있다.
증거 불일치(Evidence Divergence): — 동일한 문서 파일이 뷰어(MS Office)와 추출 도구(LLM 파이프라인)에서 서로 다른 내용으로 해석되는 현상이다. 이는 모델이 학습하거나 참조하는 데이터가 실제 사용자가 인지하는 데이터와 다를 수 있음을 의미한다.
검색 증강 생성(RAG): — 외부 문서를 검색하여 LLM의 입력 컨텍스트로 제공하는 기술이다. 문서 내 데이터의 무결성이 보장되지 않으면 모델이 잘못된 정보를 바탕으로 답변을 생성할 위험이 있다.

기술

LLM
OOXML
RAG

활용 사례

금융 데이터 분석
규정 준수 워크플로우
문서 기반 RAG 시스템

언급된 리소스

논문Beyond the Editing Canvas: Evidence Divergence in OOXML-to-LLM Ingestion