OvisOCR2 기술보고서: 0.8B 엔드투엔드 문서 파서를 위한 데이터 엔진과 훈련 레시피

왜 중요한가

문서 파싱은 텍스트 인식뿐 아니라 표 구조, 수식 렌더링, 자연스러운 읽기 순서 복원처럼 구조적 검증이 필요한 작업이다. OvisOCR2는 단일 엔드투엔드 모델로 문서 이미지를 바로 Markdown으로 복원하면서 파이프라인 방식이 가진 단계별 오류 축적과 배포 복잡성을 줄였다. 이 접근은 компакт한 모델(0.8B)으로도 합성 데이터와 구조적 보상을 결합하면 기존의 파이프라인 기반 최상위 방법을 능가할 수 있음을 실험적으로 확인했다.

핵심 기여

0.8B 엔드투엔드 파서로 OmniDocBench SOTA 달성

OvisOCR2는 Qwen3.5-0.8B를 기반으로 한 엔드투엔드 문서 파서이며 OmniDocBench v1.6에서 전체 점수 96.58을 기록해 기존 파이프라인 우위 모델을 앞섰다. 이 결과는 단일 모델로 텍스트·수식·테이블·읽기 순서를 동시에 복원할 수 있음을 실증한다. 또한 PureDocBench의 Avg3에서는 75.06을 달성해 다양한 트랙에서 견고한 성능을 보였다.

실제-소스 정렬 합성 데이터와 보수적 실데이터 필터링을 결합한 데이터 엔진

데이터 엔진은 파서로부터 추출한 구조화된 실문서 후보를 규칙 기반으로 정규화하고 샘플-레벨 스팟체크로 품질을 보장한다. 합성 파이프라인은 하드 케이스 마이닝 후 멀티모달 모델과 에이전트 기반 HTML 다양화로 동일한 HTML에서 이미지와 Markdown GT를 생성해 레이블 노이즈를 제거한다. 이 결합은 희소한 테이블 형태, 복잡한 수식-텍스트 혼합, 다단 레이아웃 등 장기적 구조 요소의 커버리지를 확장한다.

4B RL 교사와 on-policy distillation으로 학생 모델에 보상 정렬 전이

4B 분기에서 GRPO로 구조적 보상을 학습한 후, 보상 정렬된 정책을 온-폴리시 증류(OPD)로 0.8B에 전달해 학생의 안정성과 표 품질을 유지했다. OPD는 학생이 생성한 토큰 경로에서 상위-k 지지집합에 대해 교사 확률을 비교하는 reverse-KL 기반 목표를 사용해 고분산 직접 RL을 회피한다. 이 설계는 0.8B 직접 RL에서 발생하던 KL 드리프트와 표 품질 저하를 완화했다.

구성요소별 다중 보상과 대규모 멀티모달 RL 인프라 최적화

RL 보상은 텍스트(정규화 편집거리), 수식(CDM), 테이블(TEDS)을 구성요소로 사용하며 참조에 존재하는 컴포넌트만 평균화해 페이지 수준 보상을 산출했다. 보상 계산은 렌더링 비교와 정규화된 빠른 경로를 병렬화하고 타임아웃과 재사용 프로세스 풀을 도입해 보상 산출의 병목을 줄였다. 또한 대용량 시각 텐서를 참조 핸들로 공유하고 공통 접두사 마스크를 적용해 롱 시퀀스 학습 비용을 낮췄다.

후처리 모델 퓨전으로 최종 모델 성능 안정화

다양한 데이터 혼합과 학습 설정으로 생성한 후보 모델들을 가중 평균 방식으로 병합해 최종 OvisOCR2를 도출했다. 이 과정은 개별 체크포인트의 편향을 완화하고 전반적 성능을 높이는 데 기여했다. 모델 퓨전은 배포형 0.8B 모델의 일관된 품질 확보에 사용되었다.

핵심 아이디어 이해하기

문서 파싱은 단순한 토큰 예측 문제가 아니라 페이지 단위의 구조적 정합성을 요구하는 작업이다. 표, 수식, 시각적 영역, 그리고 읽기 순서 같은 요소는 토큰 수준의 평균화된 손실로는 누락되거나 왜곡되기 쉽다. 따라서 모델은 이미지 전체 컨텍스트를 조건으로 삼아 긴 구조적 출력을 생성하고, 생성된 출력은 시각적·구조적 검사로 검증 가능한 형태여야 한다.

방법론

데이터 관점에서는 실문서 파이프라인과 합성 파이프라인을 병렬로 설계해 상보적인 장점을 확보했다. 실문서 파이프라인은 PaddleOCR-VL-1.5 또는 MinerU2.5-Pro 같은 전문 파서의 JSON 출력을 규칙 기반으로 Markdown에 정규화하고 보수적으로 필터링한 뒤 샘플 레벨 스팟체크로 데이터 품질을 보장한다. 합성 파이프라인은 하드 케이스 마이닝으로 난이도 높은 템플릿을 추출하고 멀티모달 LLM으로 초기 HTML을 생성한 뒤 에이전트 기반 다양화와 Playwright 렌더링으로 이미지와 일치하는 Markdown GT를 직접 생성해 라벨 노이즈를 제거했다.

주요 결과

OmniDocBench v1.6에서 OvisOCR2는 전체 점수 96.58을 달성했고 텍스트 편집 거리 0.025, 수식 CDM 97.53, 테이블 TEDS 94.76, TEDS-S 97.16, 읽기 순서 편집 거리 0.111을 보고했다. PureDocBench에서는 Clean 81.55, Digital 77.09, Real 66.56으로 평균 Avg3 75.06을 기록해 트랙별 견고성을 보였다. 자체 구축한 1,000+ 페이지의 인하우스 벤치마크에서는 전체 85.54를 얻었고 손글씨 및 복잡표(subsets)에서 각각 72.28, 83.97의 우수한 성능을 확보했다.

기술 상세

아키텍처는 Qwen3.5-0.8B를 기본으로 사용해 단일 모델에서 이미지-투-마크다운 변환을 수행했다. 입력은 최대 16K 시퀀스 길이와 동적 이미지 해상도 예산을 사용해 고해상도 페이지의 세부를 유지하도록 전처리되며, 이미지와 텍스트 토큰은 모델의 멀티모달 경로로 결합된다. SFT 단계에서는 0.8B 모델을 두 에폭으로 학습시키고 4B 모델은 0.2 에폭만 학습시켜 4B 분기를 RL 교사로 전환할 초기 정책을 확보했다.

한계점

논문은 특히 열화된 실제 이미지에 대한 강건성 개선이 향후 과제임을 명시했다. PureDocBench의 Real 트랙에서 대형 일반 VLM들보다 낮은 성능을 보여 저화질 촬영·스캔 잡음 대응이 남은 한계로 나타났다. 또한 손글씨와 매우 복잡한 표에 대해서는 개선 여지가 존재한다고 연구진이 명확히 표기했다.

키워드

document-parsing(문서 파싱)end-to-end-parsing(엔드투엔드 파서)on-policy-distillation(온-폴리시 증류)table-reconstruction(테이블 복원)multimodal-rl(멀티모달 RL)

용어 해설

온-폴리시 증류(On-Policy Distillation (OPD)): — 교사 모델이 학생이 실제 생성한 응답 경로에 대해 토큰별 확률을 반환하고 학생은 그 지시에 맞춰 확률 분포를 맞추는 방식이다. 본문에서는 4B RL 교사가 학생의 온-폴리시 출력 토큰 상위-k 지지집합에 대해 reverse-KL로 확률을 정렬하는 형태로 구현되어 학생의 표집 분포가 교사의 보상 정렬 행동을 따르도록 한다. 이 방식은 학생에게 고분산 직접 RL 대신 안정적인 분포지도 신호를 전달해 긴 구조적 출력에서 학습 안정성을 향상시킨다.
그룹 상대 정책 최적화(Group Relative Policy Optimization (GRPO)): — 여러 응답 샘플을 같은 프롬프트에 대해 비교하고 그룹 상대 이점을 학습 신호로 사용하는 강화학습 알고리즘이다. 값 함수 학습을 생략하고 여러 후보 응답 중 더 나은 샘플에 정책 확률을 집중시키는 방식으로 긴 구조적 출력에서 보상 신호를 활용한다. 본문에서는 문서 파싱의 텍스트·수식·표 구성 보상을 조합한 환경에 적합하도록 사용되었다.
Tree-Edit-Distance 기반 테이블 유사도(TEDS): — 테이블의 셀 구조와 내용을 트리 편집 거리 기반으로 비교해 구조적 유사도를 정량화하는 지표이다. 본문에서는 테이블 재구성의 topology와 셀 콘텐츠를 모두 반영하는 정규화 점수로 사용되어 RL 보상 컴포넌트 및 벤치마크 평가에 포함되었다. TEDS는 표 형태 오류와 누락을 식별하는 데 특히 민감하다.
Character Detection Matching(CDM): — 이미지 수준에서 수식의 문자 검출 매칭을 통해 수식 인식 품질을 평가하는 지표로, 수식의 시각적 일치도를 측정한다. 본문에서는 수식 보상으로 CDM을 사용해 문자열 유사도보다 렌더링 차이를 직접 비교하는 절차를 포함시켰다. CDM은 정확한 수식 렌더링이 중요한 문서 파싱 작업에서 수식 오차를 더 정밀하게 포착한다.

OvisOCR2 기술보고서: 0.8B 엔드투엔드 문서 파서를 위한 데이터 엔진과 훈련 레시피

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

키워드

관련 토론

댓글

관련 피드