HunyuanOCR-1.5: 경량 엔드투엔드 OCR VLM의 속도 및 능력 확장

긴 구조화 텍스트를 포함한 문서 처리에서는 토큰별 순차 디코딩이 전체 지연의 주요 원인이며 서비스 배포 비용과 응답 시간을 악화시켰다. HunyuanOCR-1.5는 병렬 블록 초안과 대상 모델의 일괄 검증을 결합하여 디코딩 횟수를 줄였고, 이로 인해 실환경에서의 처리 지연과 비용이 동시에 개선될 가능성이 커졌다. 또한 에이전트 기반 데이터 파이프라인을 통해 장기 문서, 고유문자, 다중 페이지 질의응답 등 기존 모델의 롱테일 약점을 체계적으로 보완해 실제 적용 범위를 확장했다.

문서·차트·표처럼 긴 구조화 텍스트를 생성하는 OCR 작업에서는 자동회귀 디코딩이 토큰 하나당 대상 모델의 순차적인 전방 전달을 요구하므로 출력 길이에 따라 지연이 기하급수적으로 증가한다. 이 논문은 디코딩 병목을 해소하기 위해 별도의 경량 초안 모델이 대상 모델의 히든 상태를 조건으로 블록 단위 후보를 병렬 생성하고, 대상 모델이 해당 블록을 한 번에 검증해 유효 접두사를 확정하도록 설계했다. 이렇게 하면 동일한 전력 소모 내에서 각 대상 모델 전방 전달로 전진할 수 있는 토큰 수가 증가해 긴 구조화 출력에서 실질적 지연을 크게 줄인다.

전체 아키텍처는 원본 HunyuanOCR의 경량 엔드투엔드 설계를 유지하면서 시각 인코더의 최대 입력 해상도를 2K에서 4K로 확장했다. 시각 특징은 adaptive MLP connector로 압축되어 레이아웃 민감성을 보존한 채 언어 모델(Hunyuan-0.5B, XD-RoPE)에 연결되며, 언어 모델은 autoregressive 방식으로 구조화된 OCR 출력을 생성한다. DFlash 관련 구현에서는 대상 모델을 고정하고 초안 모델만 학습했으며, 각 시퀀스에 대해 대상 모델 전방 전달로 얻은 히든 상태를 캐시해 n개의 무작위 앵커를 샘플링하고 FlexAttention 블록-대각 마스크로 다중 블록을 한 번에 처리했다. 초안 손실은 위치 가중 차기 토큰 교차 엔트로피로 정의되며 가중치는 지수 감쇠로 먼 위치의 난이도를 반영하도록 설계되었다. 데이터 측면에서는 Agentic Data Flow가 자료 수집, 도구 기반 정제, 합성 파이프라인 생성 및 인간-에이전트 반복을 수행해 저자원 언어, 고문자, 다중 이미지 QA 등의 훈련 데이터를 자동으로 생성했다. 학습 레시피는 재계획된 Stage3 프리트레이닝(에이전트 데이터·다중 이미지·히스토리컬 OCR 포함), 고품질 SFT 데이터와 능력 중심 RL을 연속적으로 적용하는 방식으로 구성되었다. RL 단계에서는 IcePop이라는 GRPO 계열 최적화와 토큰 수준 보정 비율을 사용해 train–inference 불일치를 완화하며, 문서 파싱을 위한 구조적·요소별 보상, QA를 위한 LLM-판사 기반 일관성 보상, 생성 퇴화를 억제하는 길이·반복 패널티를 결합해 정밀한 보상 신호를 제공했다.

DFlash 적용 결과 Transformer 환경에서 평균 추론 속도가 6.37배 향상되었고 vLLM 환경에서는 2.14배 향상이 관측되었다. OmniDocBench v1.6에서는 HunyuanOCR-1.5가 Overall 94.74를 기록해 경량 엔드투엔드 계열에서 최고 수준의 문서 파싱 성능을 달성했다. 능력 경계 시험에서는 Chronicles-OCR의 고문자 인식에서 아카이브와 성숙 스크립트 평균이 각각 0.54와 0.79 수준을 보였고 TableVerse-5K에서는 TEDS 78.23, CHAOS-Bench의 페이지 평균 리콜은 14.15를 기록해 환각 억제 측면에서 기존 모델 대비 향상이 확인되었다. 또한 다중 이미지 QA, 차트 디플로팅, 저자원 다국어 파싱 등의 하위 벤치에서 유의미한 성능 증가를 보여 전반적 능력 확장과 실제 배포 효용이 동시에 확보되었다.

아키텍처 구성은 네이티브 해상도 시각 인코더(Hunyuan-ViT 기반, 4K 입력 지원), adaptive MLP connector, 그리고 경량 언어 모델(Hunyuan-0.5B, XD-RoPE)으로 이루어져 입력 해상도 확장에도 백본 재설계 없이 고해상도 문서의 공간 정보를 보존하도록 설계되었다. DFlash 초안 모델은 약 90.7M 파라미터, 5개 레이어 Transformer 기반으로 구성되며 블록 크기 B=16과 앵커 수 n=16을 사용해 훈련되었다. 훈련 중 대상 모델은 고정하고 한 번의 대상 전방 전달로 얻은 히든 상태를 조건으로 다수의 블록 드래프트를 FlexAttention 블록-대각 마스크로 병합해 효율적으로 학습했다. RL 최적화는 IcePop이라는 GRPO 계열 방식으로 토큰 수준 보정 비율과 마스킹을 적용해 train–inference 불일치를 억제하며, 손실은 토큰 단위 정책 그래디언트와 KL 페널티를 결합한 형태로 계산되었다. 문서 파싱 보상은 평문 텍스트에 대한 정규화된 편집거리 기반 보상과 표·차트 같은 특수 요소에 대한 요소별 보상을 결합했고, 표 요소는 내용 보상(R_content)과 구조 보상(R_struct)을 0.5씩 혼합해 산출했다. 차트 보상은 예측과 레퍼런스를 CSV 형태로 정규화한 뒤 SCRM(mAP) 기반으로 평균 AP를 계산해 순서 불변성 문제를 회피했다. 과생성 억제 측면에서는 태스크별 출력 길이 상한을 설정해 초과 시 보상을 0으로 부여하고 연속 반복 단위 패턴을 탐지해 반복이 감지되면 보상을 0으로 처리하는 규칙을 적용했다.

CHAOS-Bench 결과에서 페이지 평균 리콜이 14.15에 그쳐 시각적으로 관찰된 비의미적 또는 변형된 단어를 완전히 보존하는 것은 여전히 어려운 문제로 남아 있다. DFlash 기반 병렬 초안은 구조화 출력과 국소적 규칙성이 강한 경우 효과가 크지만 짧거나 예측이 어려운 출력에서는 고정 오버헤드 때문에 이득이 제한되었다. 에이전트 기반 데이터 파이프라인은 자동 수집과 정제의 효율을 높였으나 특정 언어·문자 폰트의 합성 품질이나 실제 촬영 노이즈 분포를 완전히 대체하지 못할 수 있어 수동 검증이 여전히 필요하다.