RaV-IDP: 신뢰할 수 있는 지능형 문서 처리를 위한 검증으로서의 재구성 프레임워크

기존의 문서 처리 시스템은 추출 결과가 원본과 얼마나 일치하는지 스스로 검증할 수 없어 오류가 그대로 하류 시스템에 전달되는 문제가 있었다. 이 논문은 추출된 데이터를 다시 이미지나 텍스트로 그려보고 원본과 비교하는 '재구성' 방식을 통해 별도의 정답 레이블 없이도 추출 품질을 실시간으로 측정하고 오류를 자동 수정하는 새로운 패러다임을 제시한다.

기존 문서 처리 모델은 자신의 예측에 대한 확신도(Confidence)를 출력하지만, 이는 모델 내부의 확률일 뿐 실제 문서 내용과 일치하는지를 보장하지 않는다. 예를 들어 모델이 표의 행을 잘못 합치면서도 99%의 확신도를 가질 수 있으며, 이 경우 하류의 RAG 시스템에는 잘못된 정보가 입력된다. RaV-IDP는 '추출이 정확하다면 그 결과물로 원본을 다시 그려낼 수 있어야 한다'는 단순하고 강력한 직관에서 출발한다.

이 원리를 구현하기 위해 추출된 구조적 데이터(HTML, Markdown 등)를 다시 이미지로 렌더링하는 Reconstructor를 도입한다. 렌더링된 이미지와 레이아웃 검출 단계에서 보관해둔 원본 픽셀 크롭을 비교하여 두 이미지 사이의 픽셀 및 구조적 유사도를 계산한다. 이때 비교기는 오직 원본 이미지와 재구성된 이미지만을 입력으로 받으며, 추출된 텍스트 자체에는 접근하지 못하게 하여 검증의 객관성을 유지한다.

결과적으로 이 시스템은 모델의 내부 로직에 의존하지 않고도 추출 결과의 왜곡이나 정보 손실을 수치화한다. 점수가 낮은 엔티티는 즉시 고성능 비전 모델로 재추출을 요청함으로써, 사람이 개입하지 않고도 스스로 오류를 감지하고 수정하는 자가 치유형 문서 처리 파이프라인을 가능하게 한다.

RaV-IDP 파이프라인은 문서 품질 분류, 레이아웃 검출, 엔티티 라우팅, 추출, 재구성, 비교 및 충실도 측정, GPT-4.1 백업, 컨텍스트 보강의 8단계로 구성된다. 레이아웃 검출 단계에서 Docling을 사용하여 각 영역의 좌표를 식별하고, 해당 영역의 원본 픽셀 크롭(c_ij)을 불변의 참조 데이터로 저장한다.

표(Table) 엔티티의 경우, 추출된 데이터를 HTML로 렌더링한 후 래스터화하여 원본과 SSIM(Structural Similarity Index)을 계산한다. [두 이미지의 휘도, 대비, 구조적 유사도를 입력으로] → [픽셀 단위 비교 연산을 수행해] → [0에서 1 사이의 점수를 얻고] → [이 값이 높을수록 표의 시각적 정렬이 원본과 일치함을 의미한다]. 또한 구조적 CER을 병행하여 셀 내용의 정확성을 검증한다.

이미지(Image) 엔티티는 pHash(Perceptual Hash)를 활용한다. [이미지의 저주파 성분을 입력으로] → [해시값을 생성하고 해밍 거리를 계산해] → [유사도 점수를 도출하며] → [이는 이미지의 압축이나 미세한 색상 변화에는 무관하게 내용의 누락이나 잘못된 크롭 여부를 판별하는 지표가 된다].

텍스트(Text) 엔티티는 독립적인 재읽기 방식을 취한다. [원본 크롭 영역을 입력으로] → [별도의 OCR 또는 PDF 텍스트 스트림 추출을 수행해] → [기존 추출 결과와의 CER(Character Error Rate)을 계산하고] → [1-CER 값을 통해 텍스트의 일치도를 평가한다].

DocVQA 벤치마크에서 RaV-IDP는 0.4224 ANLS를 기록하며 Unstructured(0.3910) 및 Docling(0.3844) 등 기존의 모든 오픈소스 베이스라인을 능가했다. 특히 충실도 점수는 실제 정답 품질과 표 데이터에서 0.800, 네이티브 PDF에서 0.877의 높은 Spearman 상관계수를 보여 품질 지표로서의 유효성을 입증했다.

Ablation Study 결과, 오류 엔티티를 단순히 제거하기만 하는 'gate-only' 모드에서는 ANLS가 0.1408로 급락했다. 이는 RaV-IDP의 진정한 가치가 단순히 나쁜 데이터를 걸러내는 것이 아니라, 낮은 점수의 데이터를 감지하여 GPT-4.1 백업 경로로 유도함으로써 데이터의 커버리지를 유지하고 품질을 복구하는 데 있음을 시사한다.

비용 효율성 측면에서 모든 문서를 GPT-4.1로 처리할 때보다 RaV-IDP의 선택적 백업 방식을 사용할 때 API 비용이 약 71% 절감되는 것으로 나타났다. 전체 엔티티 중 약 6.6%만이 백업 경로를 트리거하면서도 전체적인 추출 품질은 고성능 모델 단독 사용 시의 성능에 근접했다.

RaV-IDP 아키텍처의 핵심은 '부트스트랩 제약 조건(Bootstrap Constraint)'이다. 이는 비교기(Comparator)가 추출기(Extractor)의 출력물을 참조로 사용하지 않고, 오직 레이아웃 검출 시점에 캡처된 원본 픽셀 크롭만을 Ground Truth로 사용하도록 강제하는 것이다. 이를 통해 추출기와 재구성기가 동일한 오류를 공유하더라도 검증 단계에서 이를 걸러낼 수 있는 독립성을 확보한다.

표 재구성 로직은 단순 텍스트 비교를 넘어 시각적 채널과 구조적 채널을 분리하여 평가한다. 시각적 채널은 HTML 렌더링 후 래스터화된 이미지의 SSIM을 측정하고, 구조적 채널은 행/열 수, 헤더 텍스트, 셀 내용의 순서를 독립적인 OCR 결과와 대조한다. 텍스트 재구성의 경우 네이티브 PDF에서는 임베디드 텍스트 스트림을, 스캔 문서에서는 TrOCR 등을 활용해 상호 검증을 수행한다.

GPT-4.1 Vision 백업 경로는 구조화된 JSON 출력을 강제하는 프롬프트를 사용한다. 표의 경우 헤더, 행 데이터, 노트를 포함한 JSON 구조를 요청하며, 이미지의 경우 유형 분류, 자연어 설명, 텍스트 추출, 차트 데이터 구조화를 동시에 수행한다. 이러한 다단계 검증 및 복구 루프는 최종적으로 공간적 정보와 의미적 맥락, 그리고 품질 점수가 포함된 EntityRecord 객체를 생성하여 하류 시스템에 전달한다.

추출기와 재구성기가 동일한 OCR 엔진을 공유할 경우 동일한 오인식 패턴을 보일 수 있어 오류를 감지하지 못하는 '사각지대'가 존재한다. 또한 저대비 스캔 문서의 경우 재구성된 텍스트와 원본 사이의 CER이 실제보다 높게 측정되어 불필요한 백업 호출이 발생할 수 있다. 현재 수식(Formula) 엔티티에 대한 검출 및 추출 성능은 보완이 필요한 단계이다.