TL;DR
문서 파싱은 텍스트 인식뿐 아니라 표 구조, 수식 렌더링, 자연스러운 읽기 순서 복원처럼 구조적 검증이 필요한 작업이다. OvisOCR2는 단일 엔드투엔드 모델로 문서 이미지를 바로 Markdown으로 복원하면서 파이프라인 방식이 가진 단계별 오류 축적과 배포 복잡성을 줄였다. 이 접근은 компакт한 모델(0.8B)으로도 합성 데이터와 구조적 보상을 결합하면 기존의 파이프라인 기반 최상위 방법을 능가할 수 있음을 실험적으로 확인했다.
왜 중요한가
문서 파싱은 텍스트 인식뿐 아니라 표 구조, 수식 렌더링, 자연스러운 읽기 순서 복원처럼 구조적 검증이 필요한 작업이다. OvisOCR2는 단일 엔드투엔드 모델로 문서 이미지를 바로 Markdown으로 복원하면서 파이프라인 방식이 가진 단계별 오류 축적과 배포 복잡성을 줄였다. 이 접근은 компакт한 모델(0.8B)으로도 합성 데이터와 구조적 보상을 결합하면 기존의 파이프라인 기반 최상위 방법을 능가할 수 있음을 실험적으로 확인했다.
핵심 기여
0.8B 엔드투엔드 파서로 OmniDocBench SOTA 달성
OvisOCR2는 Qwen3.5-0.8B를 기반으로 한 엔드투엔드 문서 파서이며 OmniDocBench v1.6에서 전체 점수 96.58을 기록해 기존 파이프라인 우위 모델을 앞섰다. 이 결과는 단일 모델로 텍스트·수식·테이블·읽기 순서를 동시에 복원할 수 있음을 실증한다. 또한 PureDocBench의 Avg3에서는 75.06을 달성해 다양한 트랙에서 견고한 성능을 보였다.
실제-소스 정렬 합성 데이터와 보수적 실데이터 필터링을 결합한 데이터 엔진
데이터 엔진은 파서로부터 추출한 구조화된 실문서 후보를 규칙 기반으로 정규화하고 샘플-레벨 스팟체크로 품질을 보장한다. 합성 파이프라인은 하드 케이스 마이닝 후 멀티모달 모델과 에이전트 기반 HTML 다양화로 동일한 HTML에서 이미지와 Markdown GT를 생성해 레이블 노이즈를 제거한다. 이 결합은 희소한 테이블 형태, 복잡한 수식-텍스트 혼합, 다단 레이아웃 등 장기적 구조 요소의 커버리지를 확장한다.
4B RL 교사와 on-policy distillation으로 학생 모델에 보상 정렬 전이
4B 분기에서 GRPO로 구조적 보상을 학습한 후, 보상 정렬된 정책을 온-폴리시 증류(OPD)로 0.8B에 전달해 학생의 안정성과 표 품질을 유지했다. OPD는 학생이 생성한 토큰 경로에서 상위-k 지지집합에 대해 교사 확률을 비교하는 reverse-KL 기반 목표를 사용해 고분산 직접 RL을 회피한다. 이 설계는 0.8B 직접 RL에서 발생하던 KL 드리프트와 표 품질 저하를 완화했다.
구성요소별 다중 보상과 대규모 멀티모달 RL 인프라 최적화
RL 보상은 텍스트(정규화 편집거리), 수식(CDM), 테이블(TEDS)을 구성요소로 사용하며 참조에 존재하는 컴포넌트만 평균화해 페이지 수준 보상을 산출했다. 보상 계산은 렌더링 비교와 정규화된 빠른 경로를 병렬화하고 타임아웃과 재사용 프로세스 풀을 도입해 보상 산출의 병목을 줄였다. 또한 대용량 시각 텐서를 참조 핸들로 공유하고 공통 접두사 마스크를 적용해 롱 시퀀스 학습 비용을 낮췄다.
후처리 모델 퓨전으로 최종 모델 성능 안정화
다양한 데이터 혼합과 학습 설정으로 생성한 후보 모델들을 가중 평균 방식으로 병합해 최종 OvisOCR2를 도출했다. 이 과정은 개별 체크포인트의 편향을 완화하고 전반적 성능을 높이는 데 기여했다. 모델 퓨전은 배포형 0.8B 모델의 일관된 품질 확보에 사용되었다.
핵심 아이디어 이해하기
문서 파싱은 단순한 토큰 예측 문제가 아니라 페이지 단위의 구조적 정합성을 요구하는 작업이다. 표, 수식, 시각적 영역, 그리고 읽기 순서 같은 요소는 토큰 수준의 평균화된 손실로는 누락되거나 왜곡되기 쉽다. 따라서 모델은 이미지 전체 컨텍스트를 조건으로 삼아 긴 구조적 출력을 생성하고, 생성된 출력은 시각적·구조적 검사로 검증 가능한 형태여야 한다.
방법론
데이터 관점에서는 실문서 파이프라인과 합성 파이프라인을 병렬로 설계해 상보적인 장점을 확보했다. 실문서 파이프라인은 PaddleOCR-VL-1.5 또는 MinerU2.5-Pro 같은 전문 파서의 JSON 출력을 규칙 기반으로 Markdown에 정규화하고 보수적으로 필터링한 뒤 샘플 레벨 스팟체크로 데이터 품질을 보장한다. 합성 파이프라인은 하드 케이스 마이닝으로 난이도 높은 템플릿을 추출하고 멀티모달 LLM으로 초기 HTML을 생성한 뒤 에이전트 기반 다양화와 Playwright 렌더링으로 이미지와 일치하는 Markdown GT를 직접 생성해 라벨 노이즈를 제거했다.
관련 Figure
왼쪽 실데이터 파이프라인은 전문 파서 출력의 규칙 기반 정규화, JSON-to-Markdown 변환, 그리고 수동 스팟체크로 품질을 확보하는 과정을 단계별로 나타낸다. 오른쪽 합성 파이프라인은 하드 샘플 마이닝, 멀티모달 LLM 기반 HTML 템플릿 생성, 에이전트 기반 다양화, Playwright 렌더링 및 이미지-텍스트 페어링을 거쳐 구조적 GT를 생성하는 과정을 보여준다. 이 다이어그램은 논문이 합성 데이터의 'source-of-truth' 원칙을 통해 라벨 노이즈를 제거하고 장기적 케이스를 확대했다고 주장하는 방법적 근거를 보강한다.
실제 데이터 파이프라인과 합성 데이터 파이프라인을 병렬로 보여주는 다이어그램으로 데이터 엔진의 전체 흐름을 요약하고 있다.
다이어그램은 4B SFT→4B RL→4B Teacher의 흐름과 0.8B SFT→OPD→모델 퓨전→최종 0.8B의 학생 분기를 병렬적으로 표시해 두 분기의 상호작용을 명확하게 드러낸다. 이 구조는 4B에서 보상 기반 정책을 안정적으로 학습하고 이를 학생으로 전이하는 설계 철학을 시각적으로 요약한다. 또한 온-폴리시 증류(OPD)가 학생의 온-폴리시 경로에 대해 교사 확률을 정렬하는 방식임을 훈련 단계 맥락에서 연결해 보여준다.
4B 교사 분기와 0.8B 학생 분기로 구성된 두-분기 학습 흐름도를 보여주는 다이어그램으로 RL과 OPD의 역할 분담을 나타내고 있다.
주요 결과
OmniDocBench v1.6에서 OvisOCR2는 전체 점수 96.58을 달성했고 텍스트 편집 거리 0.025, 수식 CDM 97.53, 테이블 TEDS 94.76, TEDS-S 97.16, 읽기 순서 편집 거리 0.111을 보고했다. PureDocBench에서는 Clean 81.55, Digital 77.09, Real 66.56으로 평균 Avg3 75.06을 기록해 트랙별 견고성을 보였다. 자체 구축한 1,000+ 페이지의 인하우스 벤치마크에서는 전체 85.54를 얻었고 손글씨 및 복잡표(subsets)에서 각각 72.28, 83.97의 우수한 성능을 확보했다.
관련 Figure
이 그림은 텍스트 점수, 수식 점수, 표 점수, 읽기 순서 점수와 종합 점수를 모델별로 나열해 OvisOCR2가 주요 지표에서 상위권을 차지함을 수치적으로 보여준다. 각 서브차트는 서로 다른 평가측면을 강조하여 파이프라인 기반 모델과 엔드투엔드 모델의 상대적 강점과 약점을 동시에 드러낸다. 이 시각자료는 논문의 결과 단락에서 보고된 96.58(OmniDocBench)과 75.06(PureDocBench Avg3) 수치의 비교 근거를 제공한다.
OmniDocBench 및 PureDocBench와 여러 비교 모델의 성능을 바 차트로 정리한 그림으로 OvisOCR2의 지표 우위를 시각화하고 있다.
기술 상세
아키텍처는 Qwen3.5-0.8B를 기본으로 사용해 단일 모델에서 이미지-투-마크다운 변환을 수행했다. 입력은 최대 16K 시퀀스 길이와 동적 이미지 해상도 예산을 사용해 고해상도 페이지의 세부를 유지하도록 전처리되며, 이미지와 텍스트 토큰은 모델의 멀티모달 경로로 결합된다. SFT 단계에서는 0.8B 모델을 두 에폭으로 학습시키고 4B 모델은 0.2 에폭만 학습시켜 4B 분기를 RL 교사로 전환할 초기 정책을 확보했다.
관련 Figure
좌측 그래프는 학습 스텝에 따른 actor KL 손실을 보여줘 0.8B 직접 RL에서 후기 단계에 큰 KL 발산이 발생한다는 사실을 수치적으로 확인시킨다. 우측 그래프는 검증 세트의 테이블 TEDS 변화를 보여 4B RL이 표 품질을 더 안정적으로 유지했음을 나타내며, 이 근거는 4B 교사를 활용한 OPD 선택의 동기로 작용했다. 해당 자료는 논문의 OPD 설계와 4B-0.8B 분기 전략의 효과를 뒷받침한다.
훈련 안정성 비교를 나타내는 그래프들로 4B RL과 0.8B RL의 정책 발산 및 검증용 테이블 품질 변화를 제시하고 있다.
한계점
논문은 특히 열화된 실제 이미지에 대한 강건성 개선이 향후 과제임을 명시했다. PureDocBench의 Real 트랙에서 대형 일반 VLM들보다 낮은 성능을 보여 저화질 촬영·스캔 잡음 대응이 남은 한계로 나타났다. 또한 손글씨와 매우 복잡한 표에 대해서는 개선 여지가 존재한다고 연구진이 명확히 표기했다.
키워드
용어 해설
- On-Policy Distillation (OPD)
- — 교사 모델이 학생이 실제 생성한 응답 경로에 대해 토큰별 확률을 반환하고 학생은 그 지시에 맞춰 확률 분포를 맞추는 방식이다. 본문에서는 4B RL 교사가 학생의 온-폴리시 출력 토큰 상위-k 지지집합에 대해 reverse-KL로 확률을 정렬하는 형태로 구현되어 학생의 표집 분포가 교사의 보상 정렬 행동을 따르도록 한다. 이 방식은 학생에게 고분산 직접 RL 대신 안정적인 분포지도 신호를 전달해 긴 구조적 출력에서 학습 안정성을 향상시킨다.
- Group Relative Policy Optimization (GRPO)
- — 여러 응답 샘플을 같은 프롬프트에 대해 비교하고 그룹 상대 이점을 학습 신호로 사용하는 강화학습 알고리즘이다. 값 함수 학습을 생략하고 여러 후보 응답 중 더 나은 샘플에 정책 확률을 집중시키는 방식으로 긴 구조적 출력에서 보상 신호를 활용한다. 본문에서는 문서 파싱의 텍스트·수식·표 구성 보상을 조합한 환경에 적합하도록 사용되었다.
- TEDS
- — 테이블의 셀 구조와 내용을 트리 편집 거리 기반으로 비교해 구조적 유사도를 정량화하는 지표이다. 본문에서는 테이블 재구성의 topology와 셀 콘텐츠를 모두 반영하는 정규화 점수로 사용되어 RL 보상 컴포넌트 및 벤치마크 평가에 포함되었다. TEDS는 표 형태 오류와 누락을 식별하는 데 특히 민감하다.
- CDM
- — 이미지 수준에서 수식의 문자 검출 매칭을 통해 수식 인식 품질을 평가하는 지표로, 수식의 시각적 일치도를 측정한다. 본문에서는 수식 보상으로 CDM을 사용해 문자열 유사도보다 렌더링 차이를 직접 비교하는 절차를 포함시켰다. CDM은 정확한 수식 렌더링이 중요한 문서 파싱 작업에서 수식 오차를 더 정밀하게 포착한다.
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
