GlyphPrinter: 글리프 정확도를 위한 영역 그룹화 직접 선호도 최적화 기반 시각적 텍스트 렌더링

기존 이미지 생성 모델은 복잡한 글자나 특수 기호를 그릴 때 획을 빠뜨리거나 뭉개는 경우가 많다. 이 논문은 사람이 직접 틀린 부분을 짚어준 데이터를 학습에 활용해, 인공지능이 글자의 세밀한 구조를 정확히 이해하고 그리도록 만드는 획기적인 방법을 제시한다.

왜 중요한가

핵심 기여

GlyphPrinter 프레임워크

명시적인 보상 모델 없이 선호도 데이터를 직접 활용하여 텍스트 렌더링 정확도를 높이는 새로운 프레임워크이다.

GlyphCorrector 데이터셋

897개의 글리프 조건에 대해 7,117개의 이미지를 포함하며, 영역 단위로 글자의 정확성을 주석 처리한 선호도 데이터셋이다.

R-GDPO (Region-Grouped DPO)

이미지 전체가 아닌 특정 텍스트 영역의 선호도를 학습하여 데이터 효율성을 높이고 국소적인 글리프 오류를 효과적으로 교정한다.

RRG (Regional Reward Guidance)

추론 시점에 글리프 정확도를 제어할 수 있는 가이던스 기법을 도입하여 배경 품질을 유지하면서 텍스트 정확도만 선택적으로 높인다.

핵심 아이디어 이해하기

기존의 텍스트-이미지 생성 모델은 대규모 데이터로 학습되지만, 복잡한 한자나 희귀한 글자의 세밀한 구조(Glyph)를 정확히 재현하는 데 한계가 있다. 이는 학습 과정에서 사용되는 손실 함수가 이미지 전체의 통계적 분포에 집중할 뿐, 글자 획 하나하나의 정확성을 엄격하게 따지지 않기 때문이다. GlyphPrinter는 이 문제를 해결하기 위해 '사람의 선호도'를 직접 모델에 주입하는 Direct Preference Optimization(DPO) 기법을 텍스트 렌더링에 맞게 변형한다. 특히 글자 오류는 이미지 전체가 아닌 특정 영역에서 발생한다는 점에 착안하여, 모델이 '어느 부분이 맞고 어느 부분이 틀렸는지'를 영역 단위로 집중 학습하게 하는 Region-Grouped DPO를 핵심 원리로 삼는다. 이를 통해 모델은 단순히 글자 비슷한 형상을 만드는 수준을 넘어, 정답 영역(Winning region)과 오답 영역(Losing region) 사이의 차이를 수학적으로 극대화하며 학습한다. 결과적으로 복잡한 획을 가진 한자나 다국어 텍스트에서도 획의 누락이나 왜곡 없이 정교한 렌더링이 가능해진다.

방법론

모델은 먼저 다국어 합성 데이터와 실제 텍스트 이미지로 Fine-tuning(Stage 1)을 거쳐 기초적인 렌더링 능력을 확보한다. 이후 GlyphCorrector 데이터셋을 활용한 R-GDPO(Stage 2)를 통해 세밀한 글리프 정확도를 최적화한다. R-GDPO는 이미지 쌍의 전체 확률을 비교하는 대신 마스크 M을 사용하여 특정 영역의 로그 확률비만 계산한다. [Winning/Losing 영역 마스크 M과 모델 예측값 v_theta를 입력으로] → [영역 내 픽셀들에 대한 로그 확률 차이를 계산하여] → [스칼라 손실값을 얻고] → [이 값이 작아질수록 모델이 정확한 글자 획을 그리도록 가중치가 조정됨] 과정을 거친다. 추론 시에는 Regional Reward Guidance(RRG)를 적용한다. [Stage 1 모델의 속도 v_ref와 Stage 2 모델의 속도 v_theta를 입력으로] → [가중치 omega를 이용해 선형 결합을 수행하여] → [최종 속도 벡터 v*를 얻고] → [이 벡터를 따라 노이즈를 제거하면 텍스트 정확도가 높아진 이미지가 생성됨] 원리로 작동한다. 이때 텍스트 영역 마스크를 사용하여 배경은 유지하고 텍스트 부분의 정확도만 가중치로 조절한다.

주요 결과

GlyphAcc-Complex 벤치마크에서 NED(Normalized Edit Distance) 0.9013, 문장 정확도(Sen.Acc) 0.8349를 기록하며 AnyText2(0.7867/0.6368) 및 Qwen-Image(0.6189/0.3679)를 크게 앞질렀다. 영어, 중국어, 일본어, 한국어 등 7개 언어에 대한 GlyphAcc-Multilingual 평가에서도 모든 언어에서 가장 높은 NED와 문장 정확도를 달성하며 강력한 일반화 성능을 입증했다. Ablation Study 결과, R-GDPO를 적용하지 않은 Stage 1 모델(Glyph.Acc 7.5332) 대비 최종 모델(8.3084)은 글리프 정확도에서 10% 이상의 성능 향상을 보였으며, RRG 가이던스가 배경 품질 보존에 핵심적인 역할을 함이 확인됐다.

기술 상세

Flux.1-Dev 모델을 베이스라인으로 사용하며, 텍스트 인코더와 VAE를 통해 추출된 프롬프트, 이미지, 글리프 특징을 MM-DiT 구조에서 통합 처리한다. 텍스트 국소화를 위해 특정 텍스트 영역 Pi와 그에 대응하는 글리프 특징 FG_i 사이의 통신만 허용하는 전용 어텐션 마스크를 설계하여 텍스트와 이미지 영역 간의 정렬을 강화한다. R-GDPO 손실 함수는 Inter-sample(서로 다른 이미지 간 비교)과 Intra-sample(동일 이미지 내 정답/오답 영역 비교) 선호도를 모두 활용한다. lambda_inter 파라미터를 통해 두 선호도의 비중을 조절하며, 영역 기반 보상 함수 rm을 통해 모델이 미세한 획 차이를 구분하도록 유도한다. 4개의 NVIDIA A800 80G GPU를 사용하여 학습되었으며, Stage 1에서는 합성 및 실제 데이터를 혼합 사용하고 Stage 2에서는 LoRA를 활용해 효율적으로 선호도를 학습한다.

한계점

VAE의 한계로 인해 매우 작은 글자를 렌더링할 때는 정확도가 다소 떨어질 수 있다. 또한 고정된 해상도에서 학습되어 다양한 종횡비의 이미지를 생성하는 능력이 제한적일 수 있다.

실무 활용

고도의 텍스트 정확도가 요구되는 광고 디자인, 포스터 제작, 다국어 인터페이스 생성 등에 즉시 활용 가능하다. 특히 한자나 특수 기호가 포함된 복잡한 디자인 작업에서 수작업 수정 비용을 크게 줄일 수 있다.

복잡한 한자가 포함된 고해상도 영화 포스터 및 메뉴판 생성
다양한 언어(한국어, 일본어, 태국어 등)가 혼용된 글로벌 마케팅 이미지 제작
특정 폰트 스타일과 위치가 지정된 정교한 타이포그래피 디자인 자동화

코드 공개 여부: 공개

코드 저장소 보기

키워드

Visual Text Rendering(시각적 텍스트 렌더링)DPO(직접 선호도 최적화)T2I(텍스트-이미지 생성)Glyph Accuracy(글리프 정확도)Diffusion Model(확산 모델)

용어 해설

글리프(Glyph): — 문자나 기호의 구체적인 시각적 형태를 의미한다. 텍스트 렌더링에서는 획의 굵기, 모양, 연결 상태 등 글자의 세밀한 구조적 정확성을 결정하는 핵심 요소이다.
직접 선호도 최적화(Direct Preference Optimization): — 별도의 보상 모델 학습 없이 사람이 선호하는 데이터 쌍을 직접 사용하여 모델을 정렬하는 기법이다. 계산 효율성이 높고 보상 해킹 문제를 완화하는 데 효과적이다.
플로우 매칭(Flow Matching): — 확산 모델의 학습을 가속화하고 안정화하기 위한 기법으로, 데이터 분포 사이의 경로를 직접 학습한다. 고해상도 이미지 생성에서 효율적인 추론을 가능하게 한다.
분류기 없는 가이던스(Classifier-Free Guidance): — 조건부 생성 모델에서 조건이 있는 출력과 없는 출력을 조합하여 조건에 대한 일치도를 조절하는 기법이다. 별도의 분류기 없이도 생성 결과의 품질과 정확도를 제어할 수 있다.

GlyphPrinter: 글리프 정확도를 위한 영역 그룹화 직접 선호도 최적화 기반 시각적 텍스트 렌더링

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드