WordArt 중심 장면 텍스트 인식 향상: 데이터셋과 방법

WordArt는 고도로 스타일화된 글자 형태와 복잡한 레이아웃으로 기존 OCR·STR 파이프라인에서 높은 실패율을 보인다. 본 논문은 대규모 합성 데이터(WATER-S)와 임의 비율 입력을 처리하는 모델(WATERec)을 결합해 WordArt 성능을 대폭 개선한다.

문제 정의와 기존 한계: WordArt는 글자 내부에 그래픽·텍스처·패턴이 통합되고, 종횡비와 레이아웃이 매우 다양해 기존 STR 파이프라인의 고정 템플릿(예: 32×128) 기반 리사이즈가 문자 형태를 왜곡하고 읽기 순서 가정을 깨뜨린다. 또한 실제 WordArt 데이터는 희소하며 수작업 라벨링이 어렵고 불일치가 발생하므로 학습 데이터가 부족하다.

전체 접근과 핵심 구조: 입력 이미지는 종횡비를 보존해 스케일링한 뒤 패치 크기 p=4로 분할해 토큰 수 N=(Ĥ/p)×(Ŵ/p)를 계산한다. N은 훈련/배치 제약에 따라 [64,256] 범위로 제한된다. 각 패치는 선형 프로젝션으로 d=384 차원 토큰 X∈ℝ^{N×d}이 되고, 6-layer 비전 Transformer 인코더(쿼리·키에 RoPE 적용)가 컨텍스트 피처 Z∈ℝ^{N×d}를 생성한다. 디코더는 AR Transformer로, 2개의 cross-attention 레이어를 통해 Z를 참조하며 토큰을 하나씩 예측한다.

메인 벤치마크 성과: WATERec을 WATER-R(3.225M) 기반으로 학습한 뒤 WATER-S(2M)를 추가하면 WordArt-Bench에서 정확도 90.40%를 달성했다. 비교 대상으로 보고된 OCR-specialized VLM 최고치는 81.54%(HunyuanOCR)이고, 일반 VLM 최고치는 78.36% 수준이었다. 합성 데이터의 영향: WATER-T 또는 WATER-Z 단독으로도 성능 향상이 관찰되며, 두 서브셋을 결합한 WATER-S가 가장 안정적 이득을 제공한다. 스케일 분석: WATER-S를 1M→2M으로 늘릴 때 일관된 개선이 있었으나 3M에서는 포화·변동 현상이 관찰되어 합성대(real 대비) 비율 약 2:3이 본 설정에서 균형적이었다.

아키텍처 구조: 인코더는 6-layer Transformer로 구성되며 RoPE 기반 어텐션을 사용해 토큰 간 상대 위치를 내재화한다. 입력 패치 크기는 p=4, 토큰 임베딩 차원 d=384를 사용한다. 토큰 수 N은 [64,256] 범위로 강제해 배치 학습을 안정화했다. 디코더는 AR 방식으로, 교차-어텐션 레이어 2개를 통해 인코더 피처에 접근하고 각 스텝에서 softmax를 통해 문자를 예측한다.

논문에서 명시된 한계: (1) 합성 데이터의 과도한 비율은 분포 불일치와 노이즈 누적으로 성능 포화를 초래하며 3M 수준에서는 이득이 줄어들었다. (2) WATER-Z에서 생성된 이미지의 문자 가독성은 예측 불확실성을 유발할 수 있어 라벨 정확도 보장이 어려운 경우가 존재한다. (3) 현재 데이터와 실험은 주로 영어 WordArt에 집중되어 있어 다국어·다문자 스크립트로의 직접 일반화는 추가 작업이 필요하다.