MonkeyOCRv2: 문서 인텔리전스를 위한 비주얼-텍스트 파운데이션 모델

왜 중요한가

문서 이미지는 촘촘한 텍스트와 획 수준의 미세 시각 단서에 의존하여 의미가 결정되는 경우가 많아 자연 이미지용 사전학습 인코더로는 한계가 있다. MonkeyOCRv2는 문서 전용 대규모 코퍼스와 결합된 학습 목표로 시각 토큰과 텍스트를 밀집 정합시키고 픽셀 수준 복원을 병행하여 획과 레이아웃 세부 정보를 유지한다. 그 결과 경량 비전 인코더가 더 큰 모델을 능가하거나, frozen 상태로 LLM과 결합했을 때도 문서 파싱과 이해 과제에서 높은 실효성을 보였다.

핵심 기여

대규모 다국어 문서 코퍼스 MonkeyDoc v2 구축

MonkeyDoc v2는 113M 샘플과 17개 언어를 포함하는 문서 전용 시각-텍스트 사전학습 코퍼스로 구성되었다. 데이터엔 실제 스캔 페이지와 크롭 요소가 포함되며 합성 데이터를 섞어 희소 문자와 다양한 레이아웃을 보완했다. 이 코퍼스는 문서 도메인 특화 표현 학습을 위한 대규모 감독 신호를 제공한다.

이미지-투-텍스트 생성과 픽셀 복원 병행 전학습 레시피

전학습 손실은 autoregressive text generation 손실과 픽셀 복원 손실을 결합하여 정의되었다. 텍스트 생성은 시각 표현을 문자 콘텐츠와 정렬시키고, 복원 손실은 MSE 기반의 픽셀 보존과 선택적 구조 인식 손실로 획과 에지 정보를 유지하게 한다. 이 두 목적의 결합은 언어 맥락이 약한 상황에서도 시각 증거에 의존하는 표현을 유도했다.

경량 인코더 계열로 여러 문서 작업에 일관된 전이 성능 확보

ViT-S/ViT-B/ViTAEv2-Small 변형으로 구성된 인코더 패밀리를 학습하여 작업별 해상도와 다중 스케일 요구에 대응했다. 기존 시스템의 비전 백본을 교체했을 때 텍스트 인식, 수식 인식, 텍스트 검출, 변조 탐지, 중첩 텍스트 분할 등 다섯 가지 대표 과제에서 일관된 성능 향상이 관찰되었다. 특히 frozen 상태로 LLM과 결합한 문서 파싱에서는 MDPBench에서 이전 공개 최고 모델보다 높은 점수를 기록했다.

재구성 목적이 문맥 의존성 저감과 획 보존에 기여함을 실험적으로 입증

문자 스크램블 실험에서 픽셀 복원 항을 포함하면 해상도가 낮을 때 의미적 텍스트와 스크램블 텍스트 간 정확도 격차가 현저히 줄어들었다. 복원을 사용하지 않은 경우에는 해상도 감소에 따라 스크램블 성능이 크게 저하되었으나 복원을 도입하면 손실이 완화되었다. CHAOS-Bench 문서 환각 평가는 복원 항이 시각 증거에 의존하게 만든다는 정량적 근거를 제공했다.

핵심 아이디어 이해하기

문서 이미지는 문자 획과 로컬 시각 증거가 의미 결정에 직접적으로 관여하므로, 자연 이미지 중심의 사전학습은 문서 도메인의 세부 보존 요구를 만족하지 못한다. 기존의 CLIP·DINO·SAM 계열은 전역 의미 정합이나 세그먼트 경계에 중점을 두어 문자 수준 변화를 무시하도록 학습되는 경향이 있다. 따라서 문서 인텔리전스에는 문자 획과 레이아웃을 보존하는 표현이 필요하다. MonkeyOCRv2는 이미지-투-텍스트 생성으로 시각 표현을 텍스트와 밀집 정렬시키고 픽셀 수준 복원으로 획과 에지 정보를 보존하는 이중 목적을 도입했다. 구체적으로 시각 인코더로부터 얻은 토큰을 텍스트 디코더에 공급하여 autoregressive cross-entropy로 텍스트 정합을 학습하고, 동시에 비전 디코더로 재구성하여 MSE 기반 픽셀 손실과 선택적으로 에지·distance-to-edge 맵을 매칭하는 구조 인식 손실을 적용한다. 이 두 손실은 상호 보완적으로 작동하여 언어 신호가 약한 상황에서도 시각 증거를 유지한 표현을 생성한다. 이 접근은 계산적 복잡성 측면에서 새로운 기법을 요구하지 않으면서도 모델이 문자 획과 레이아웃을 민감하게 인코딩하게 만드는 차별점이 있다. 결과적으로 작은 비전 인코더라도 문서 전용 표현을 학습하면 더 큰 범용 인코더를 대체하거나, frozen 상태로 LLM과 결합했을 때 문서 파싱과 이해에서 경쟁력 있는 성능을 달성할 수 있다. 픽셀 복원 항은 특히 해상도가 낮거나 언어 문맥이 교란된 상황에서 유의미한 이득을 제공했다.

방법론

데이터 엔진은 Expert Model Labeling, Multilingual Corpus-Based Data Synthesis, Data Filtering의 세 모듈로 구성되어 있다. Expert Model Labeling 단계에서는 다양한 OCR·레이아웃 모델을 병렬로 적용하여 예측 간 합의가 높은 결과를 선택함으로써 단일 모델의 편향을 완화했다. 합성 데이터는 다국어 코퍼스에서 텍스트를 샘플링해 다양한 폰트와 레이아웃으로 렌더링하며 희소 문자와 수식을 포함하는 샘플을 보강했다. 전학습 아키텍처는 vision encoder Ev, vision decoder Dv, text decoder Dt로 이루어진다. 입력 이미지 I에서 시각 토큰 z=Ev(I)를 추출하고 이 토큰으로부터 Dv가 이미지를 재구성하여 ℒrec를 계산하며 Dt는 동일한 z로부터 텍스트를 autoregressive하게 생성하여 ℒtext를 계산한다. 전체 손실은 ℒpretrain=ℒtext+λℒrec이며 λ는 균형 계수이다. 구체적 복원 방식은 MSE 기반 픽셀 손실 ℒpix과 선택적 구조 손실 ℒstruct의 결합으로 정의된다. 구조 손실은 Sobel gradient로 얻은 soft edge map과 반복적 min-pooling으로 근사한 distance-to-edge map을 계산한 뒤 L1 차이로 정합한다. 이 구조 인식 항은 획 수준의 형태 보존을 강화하며 문서 이해 실험에서 추가 성능 향상을 낳았다.

주요 결과

텍스트 인식에서 MonkeyOCRv2를 기존 CRNN 및 PARSeq 백본으로 교체했을 때 전반적으로 일관된 성능 향상이 관찰되었다. 예컨대 CRNN의 전체 정확도는 58.7%에서 67.3%로 상승했으며 PARSeq도 여러 벤치마크에서 상위권 성능을 유지했다. 특히 Union14M Benchmark와 다국어·가려짐 시나리오에서 유의한 개선이 나타났다. 수식 인식에서는 UniMERNet-T의 비전 인코더를 MonkeyOCRv2로 대체해 OmniDocBench, MathWriting, UniMER-Test에서 CDM 및 ExpRate가 향상되었다. 110M 규모의 UniMERNet-T(MonkeyOCRv2 포함)는 325M의 UniMERNet-B를 능가하는 결과를 보였다. 이는 문서 전용 시각 인코더가 용량 대비 더 나은 구조적 인식을 제공함을 의미한다. 문서 파싱과 문서 이해에서는 frozen encoder를 LLM과 결합한 설정에서 특히 강점을 보였다. MonkeyOCRv2-B-Parsing은 MDPBench에서 이전 공개 최고 모델인 dots.mocr 대비 2.8% 절대 향상을 달성했고, 문서 이해 8개 벤치마크 평균에서는 동일한 훈련 조건 하에서 기존 공개 인코더들을 큰 폭으로 앞섰다. 추가로 픽셀 복원 항은 스크램블 텍스트 실험과 CHAOS-Bench에서 언어 우선성에 의존하는 경향을 줄여 출력 충실도를 높였다.

기술 상세

아키텍처는 ViT-S, ViT-B, ViTAEv2-Small 세 변형으로 구성된 인코더 패밀리와 별도의 vision/text 디코더로 이루어졌다. ViTAEv2-Small은 다중 스케일 유도 바이어스를 활용해 검출·분할·변조 탐지같이 해상도 민감한 과제에 사용되었다. 모든 변형은 전용 MonkeyDoc v2 코퍼스로부터 scratch로 학습되었고 동일한 이중 목적 레시피를 공유한다. 구현 세부는 훈련에서 dynamic resolution 전략을 채택해 입력 이미지 해상도에 따라 시각 토큰 수를 가변화했다. 학습은 64개의 NVIDIA A800 GPU에서 수행되었고 peak learning rate는 1e-3, global batch size는 256으로 설정되었다. 복원 손실 가중치 α, β, λ는 각각 0.5, 0.25, 1.0으로 고정되었고 구조 인식 반복 횟수 T와 온도 τ는 16과 0.08로 설정되었다. 구조 인식 수학은 Sobel gradient로 soft edge map을 계산하고 spatial average와 sigmoid 연산으로 정규화한 뒤 distance-to-edge 맵을 반복적 min-pooling으로 근사한다. 최종 구조 손실은 distance map의 L1과 edge map의 L1 합으로 정의되며 전체 재구성 손실은 ℒrec=ℒpix+αℒstruct이다. 텍스트 생성과 재구성의 균형을 λ로 조정하여 두 신호가 상호 보완적으로 동작하게 만들었다. 문서 파싱 시스템은 frozen vision encoder, MLP projector, LLM의 세 구성요소로 설계되었다. 훈련은 먼저 projector만 정렬 학습한 뒤 projector와 LLM을 공동 최적화하며 비전 인코더는 고정 상태로 유지된다. 이 파이프라인은 layout 예측 후 요소별 크롭을 다시 인식하는 순차적 처리로 정확성과 구조적 충실도를 우선시하였고 MDPBench에서 우수한 성능을 달성했다.

한계점

논문은 encoder를 frozen으로 유지한 최소한의 파싱 파이프라인을 사용하여 속도 최적화와 병렬화 측면에서는 한계가 있음을 인정했다. 복원 항의 가중치 스케줄과 디코더 설계가 성능 향상에 미치는 개별 기여는 본 연구에서 완전히 분리되어 평가되지 않았고 후속 연구에서 체계적 분석이 필요하다. 또한 MonkeyDoc v2는 17개 언어를 포함하지만 고자원 스크립트 쪽에 편향이 있어 저자원 또는 고문서체 스크립트에 대한 균형 잡힌 감독 확장이 필요하다.

실무 활용

MonkeyOCRv2와 MonkeyDoc v2는 실제 시스템에 문서 전용 시각 백본을 제공할 수 있는 충분한 근거를 가진다. 깃허브에 코드와 데이터 메타정보가 공개되어 있어 연구 재현과 엔지니어링 적용이 가능하다. 특히 경량 비전 인코더를 frozen 상태로 유지하고 LLM과 결합하는 방식은 자원 제약 환경에서도 실용적이다.

대규모 문서 파싱 파이프라인의 비전 백본 교체로 읽기 순서·테이블 구조·필드 추출 정확도를 개선하는 용도
OCR 전용 서버에서 획 수준 보존이 중요한 금융·법률·과학 문서의 정확한 텍스트 추출
경량 비전 인코더를 frozen 상태로 두고 로컬 LLM과 결합해 개인정보를 외부로 전송하지 않는 문서 이해 시스템 구현

코드 공개 여부: 공개

코드 저장소 보기

키워드

document-pretraining(문서 전용 사전학습)image-reconstruction(픽셀 복원)image-to-text(이미지-투-텍스트 생성)multilingual-ocr(다국어 OCR)mdpbench(MDPBench 벤치마크)structure-aware-reconstruction(구조 인식 복원)

추가 이미지 분석

Chart
왼쪽 플롯은 해상도 감소에 따라 스크램블 텍스트 인식 정확도가 어떻게 떨어지는지를 보여주며, 오른쪽 플롯은 의미적 텍스트와 스크램블 텍스트 간의 정확도 격차를 플롯한다. 복원 항을 포함한 모델은 해상도가 낮을 때 스크램블 정확도가 더 잘 유지되고 의미-스크램블 격차가 좁혀지는 것으로 나타나, 복원이 시각 증거 보존에 실질적 기여를 한다는 실험적 근거를 제공한다. 이 결과는 언어적 보정 없이도 시각적 근거에 기반한 인식 능력이 향상되었음을 뒷받침한다.
해상도 별로 스크램블된 텍스트 인식 정확도와 의미 유지 텍스트와의 정확도 격차를 비교한 두 개의 선형 플롯이다.

용어 해설

이미지-투-텍스트 생성(Image-to-Text Generation): — 이미지-투-텍스트 생성은 입력 문서 이미지로부터 순차적 텍스트를 생성하는 과정으로, 시각 토큰을 텍스트 디코더에 공급하여 시각 표현과 텍스트 레이블을 정렬하는 방식으로 작동한다. 이 논문에서는 시각 표현과 문자 단위의 텍스트를 밀집하게 정합시키기 위해 autoregressive cross-entropy loss로 최적화되었다. 시각적 증거가 약할 때 언어적 신호의 보완을 최소화하고 시각 기반 인식 능력을 높이는 데 핵심 역할을 한다.
픽셀 복원(Pixel Reconstruction): — 픽셀 복원은 인코더가 추출한 시각 토큰으로부터 원본 이미지를 재구성하는 작업으로, MSE 손실을 기본으로 사용하여 스트로크와 글리프 등 세부 시각 정보를 보존하게 만든다. 구조 기반 변형에서는 Sobel 에지 및 distance-to-edge 맵을 추가로 매칭하여 획 수준의 형태를 보존한다. 문서 인식 과제에서 언어 맥락이 약할 때에도 시각 증거를 유지하게 하는 핵심 수단이다.
구조 인식 복원(Structure-Aware Reconstruction): — 구조 인식 복원은 단순 픽셀 차이 외에 에지 맵과 distance-to-edge 맵을 계산하여 재구성 산출물과 원본의 구조적 유사성을 직접 비교하는 기법이다. 먼저 Sobel gradient로 soft edge map을 얻고, 반복적 min-pooling으로 distance-to-edge 맵을 근사한 뒤 L1 손실로 두 표현을 정합시킨다. 문자 획과 레이아웃 경계 같은 미세 구조를 보존하는 데 중요하다.
CDM 지표(CDM Metric): — CDM은 수식 인식에서 표현의 구조적 정확성을 평가하는 지표로, 생성된 LaTeX 서열과 정답 표현의 구조적 일치도를 측정한다. 정확도뿐 아니라 수식 기호의 공간적 관계를 고려하여 복잡한 수식의 정합도를 정량화한다. 본 논문에서는 수식 인식 비교에서 CDM과 ExpRate(정확일치 비율)를 함께 사용해 성능을 보고했다.

MonkeyOCRv2: 문서 인텔리전스를 위한 비주얼-텍스트 파운데이션 모델

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

추가 이미지 분석

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드