MonkeyOCRv2: 문서 인텔리전스를 위한 비주얼-텍스트 파운데이션 모델

문서 이미지는 촘촘한 텍스트와 획 수준의 미세 시각 단서에 의존하여 의미가 결정되는 경우가 많아 자연 이미지용 사전학습 인코더로는 한계가 있다. MonkeyOCRv2는 문서 전용 대규모 코퍼스와 결합된 학습 목표로 시각 토큰과 텍스트를 밀집 정합시키고 픽셀 수준 복원을 병행하여 획과 레이아웃 세부 정보를 유지한다. 그 결과 경량 비전 인코더가 더 큰 모델을 능가하거나, frozen 상태로 LLM과 결합했을 때도 문서 파싱과 이해 과제에서 높은 실효성을 보였다.

문서 이미지는 문자 획과 로컬 시각 증거가 의미 결정에 직접적으로 관여하므로, 자연 이미지 중심의 사전학습은 문서 도메인의 세부 보존 요구를 만족하지 못한다. 기존의 CLIP·DINO·SAM 계열은 전역 의미 정합이나 세그먼트 경계에 중점을 두어 문자 수준 변화를 무시하도록 학습되는 경향이 있다. 따라서 문서 인텔리전스에는 문자 획과 레이아웃을 보존하는 표현이 필요하다. MonkeyOCRv2는 이미지-투-텍스트 생성으로 시각 표현을 텍스트와 밀집 정렬시키고 픽셀 수준 복원으로 획과 에지 정보를 보존하는 이중 목적을 도입했다. 구체적으로 시각 인코더로부터 얻은 토큰을 텍스트 디코더에 공급하여 autoregressive cross-entropy로 텍스트 정합을 학습하고, 동시에 비전 디코더로 재구성하여 MSE 기반 픽셀 손실과 선택적으로 에지·distance-to-edge 맵을 매칭하는 구조 인식 손실을 적용한다. 이 두 손실은 상호 보완적으로 작동하여 언어 신호가 약한 상황에서도 시각 증거를 유지한 표현을 생성한다. 이 접근은 계산적 복잡성 측면에서 새로운 기법을 요구하지 않으면서도 모델이 문자 획과 레이아웃을 민감하게 인코딩하게 만드는 차별점이 있다. 결과적으로 작은 비전 인코더라도 문서 전용 표현을 학습하면 더 큰 범용 인코더를 대체하거나, frozen 상태로 LLM과 결합했을 때 문서 파싱과 이해에서 경쟁력 있는 성능을 달성할 수 있다. 픽셀 복원 항은 특히 해상도가 낮거나 언어 문맥이 교란된 상황에서 유의미한 이득을 제공했다.

데이터 엔진은 Expert Model Labeling, Multilingual Corpus-Based Data Synthesis, Data Filtering의 세 모듈로 구성되어 있다. Expert Model Labeling 단계에서는 다양한 OCR·레이아웃 모델을 병렬로 적용하여 예측 간 합의가 높은 결과를 선택함으로써 단일 모델의 편향을 완화했다. 합성 데이터는 다국어 코퍼스에서 텍스트를 샘플링해 다양한 폰트와 레이아웃으로 렌더링하며 희소 문자와 수식을 포함하는 샘플을 보강했다. 전학습 아키텍처는 vision encoder Ev, vision decoder Dv, text decoder Dt로 이루어진다. 입력 이미지 I에서 시각 토큰 z=Ev(I)를 추출하고 이 토큰으로부터 Dv가 이미지를 재구성하여 ℒrec를 계산하며 Dt는 동일한 z로부터 텍스트를 autoregressive하게 생성하여 ℒtext를 계산한다. 전체 손실은 ℒpretrain=ℒtext+λℒrec이며 λ는 균형 계수이다. 구체적 복원 방식은 MSE 기반 픽셀 손실 ℒpix과 선택적 구조 손실 ℒstruct의 결합으로 정의된다. 구조 손실은 Sobel gradient로 얻은 soft edge map과 반복적 min-pooling으로 근사한 distance-to-edge map을 계산한 뒤 L1 차이로 정합한다. 이 구조 인식 항은 획 수준의 형태 보존을 강화하며 문서 이해 실험에서 추가 성능 향상을 낳았다.

텍스트 인식에서 MonkeyOCRv2를 기존 CRNN 및 PARSeq 백본으로 교체했을 때 전반적으로 일관된 성능 향상이 관찰되었다. 예컨대 CRNN의 전체 정확도는 58.7%에서 67.3%로 상승했으며 PARSeq도 여러 벤치마크에서 상위권 성능을 유지했다. 특히 Union14M Benchmark와 다국어·가려짐 시나리오에서 유의한 개선이 나타났다. 수식 인식에서는 UniMERNet-T의 비전 인코더를 MonkeyOCRv2로 대체해 OmniDocBench, MathWriting, UniMER-Test에서 CDM 및 ExpRate가 향상되었다. 110M 규모의 UniMERNet-T(MonkeyOCRv2 포함)는 325M의 UniMERNet-B를 능가하는 결과를 보였다. 이는 문서 전용 시각 인코더가 용량 대비 더 나은 구조적 인식을 제공함을 의미한다. 문서 파싱과 문서 이해에서는 frozen encoder를 LLM과 결합한 설정에서 특히 강점을 보였다. MonkeyOCRv2-B-Parsing은 MDPBench에서 이전 공개 최고 모델인 dots.mocr 대비 2.8% 절대 향상을 달성했고, 문서 이해 8개 벤치마크 평균에서는 동일한 훈련 조건 하에서 기존 공개 인코더들을 큰 폭으로 앞섰다. 추가로 픽셀 복원 항은 스크램블 텍스트 실험과 CHAOS-Bench에서 언어 우선성에 의존하는 경향을 줄여 출력 충실도를 높였다.

아키텍처는 ViT-S, ViT-B, ViTAEv2-Small 세 변형으로 구성된 인코더 패밀리와 별도의 vision/text 디코더로 이루어졌다. ViTAEv2-Small은 다중 스케일 유도 바이어스를 활용해 검출·분할·변조 탐지같이 해상도 민감한 과제에 사용되었다. 모든 변형은 전용 MonkeyDoc v2 코퍼스로부터 scratch로 학습되었고 동일한 이중 목적 레시피를 공유한다. 구현 세부는 훈련에서 dynamic resolution 전략을 채택해 입력 이미지 해상도에 따라 시각 토큰 수를 가변화했다. 학습은 64개의 NVIDIA A800 GPU에서 수행되었고 peak learning rate는 1e-3, global batch size는 256으로 설정되었다. 복원 손실 가중치 α, β, λ는 각각 0.5, 0.25, 1.0으로 고정되었고 구조 인식 반복 횟수 T와 온도 τ는 16과 0.08로 설정되었다. 구조 인식 수학은 Sobel gradient로 soft edge map을 계산하고 spatial average와 sigmoid 연산으로 정규화한 뒤 distance-to-edge 맵을 반복적 min-pooling으로 근사한다. 최종 구조 손실은 distance map의 L1과 edge map의 L1 합으로 정의되며 전체 재구성 손실은 ℒrec=ℒpix+αℒstruct이다. 텍스트 생성과 재구성의 균형을 λ로 조정하여 두 신호가 상호 보완적으로 동작하게 만들었다. 문서 파싱 시스템은 frozen vision encoder, MLP projector, LLM의 세 구성요소로 설계되었다. 훈련은 먼저 projector만 정렬 학습한 뒤 projector와 LLM을 공동 최적화하며 비전 인코더는 고정 상태로 유지된다. 이 파이프라인은 layout 예측 후 요소별 크롭을 다시 인식하는 순차적 처리로 정확성과 구조적 충실도를 우선시하였고 MDPBench에서 우수한 성능을 달성했다.

논문은 encoder를 frozen으로 유지한 최소한의 파싱 파이프라인을 사용하여 속도 최적화와 병렬화 측면에서는 한계가 있음을 인정했다. 복원 항의 가중치 스케줄과 디코더 설계가 성능 향상에 미치는 개별 기여는 본 연구에서 완전히 분리되어 평가되지 않았고 후속 연구에서 체계적 분석이 필요하다. 또한 MonkeyDoc v2는 17개 언어를 포함하지만 고자원 스크립트 쪽에 편향이 있어 저자원 또는 고문서체 스크립트에 대한 균형 잡힌 감독 확장이 필요하다.