PRISM: 확산 기반 텍스트 이미지 초해상도를 위한 Prior Rectification 및 불확실성 인식 구조 모델링

저화질 입력에서 텍스트 조건이 불안정하고, 글로벌 prior가 로컬 stroke 경계까지 완전히 결정하지 못한다는 두 가지 문제를 해결한다. FMPR로 privileged prior 공간으로의 안정적 흐름을 학습하고, SURE로 로컬 구조를 불확실성 하에 보정함으로써 단일 스텝 diffusion으로 텍스트의 읽기 가능성과 glyph 일치성을 함께 향상시키며, 밀리초 수준의 추론 속도를 달성한다.

출발점은 텍스트 SR에서의 거시적 텍스트 조건의 신뢰성 불확실성과 국부 stroke 경계의 불확실성이다. 기존 방법은 degraded 입력에서 직접 텍스트 조건을 추정해 restoration과 조건을 함께 최적화해, 경계가 왜곡되거나 문자인식이 잘못될 수 있다. PRISM은 두 가지로 나누어 해결한다. 1) FMPR은 paired LQ/HQ latents로 구성된 privileged prior 공간으로의 흐름을 학습해, degraded 입력에서 Reliable한 전역 텍스트 지시를 얻고 이를 restoration 백본에 주입한다. 2) SURE는 구조 정보를 불확실성에 따라 샘플링하고, 이 샘플링된 구조 cue ps를 이용해 로컬 경계 정보를 잔차로 보정하되, 높은 불확실성 영역은 과도한 경계 추정을 피하도록 한다. 이로써 global prior rectification과 local structure refinement를 단일 diffusion-pass로 달성한다.

단계1: FMPR(Privileged Prior Pathway)에서 paired LQ/HQ latents를 인코딩해 c⋆를 생성하고, c⋆를 이용해 z⋅⋯h를 재구성한다. Lpriv/Lfm 손실을 통해 privileged prior 분포와 recovered prior 간의 거리를 최소화한다. 단계2: Recoverable Prior Learning에서 LQ만 이용해 cl를 얻고, velocity field VFM를 통해 cl에서 ĉ로의 경로를 수치적으로 적분한다. ĉ를 텍스트 조건으로 사용해 ẑrh = Uθr(zl, ĉ)로 복원. Lstage1은 Limg + Lfm으로 구성되며, ĉ와 c⋆의 차이를 추가로 최소화한다. Stage2: SURE를 고정한 채 두 번째 학습을 수행한다. Fη는 µ, σ를 예측해 불확실한 구조 cue를 샘플링하고 ps로 매핑한다. Cη는 zl, ĉ, ps를 받아 잔차 R = {ri}를 예측, 이 R을 Uθ¯의 skip 연결에 주입한다. mh는 Sobel로 얻은 경계 타깃이며, Lstage2는 Limg + Lstr + KL 제약으로 구성된다. 1-step diffusion에서 FMPR의 prior 정제와 SURE의 구조 보정이 서로 보완적으로 작동한다.

BTL-test의 ×2에서 PRISM은 PSNR 24.53, LPIPS 0.1514, FID 6.14, ACC 59.78%, NED 0.8220를 기록했고, ×4에서는 PSNR 22.08, LPIPS 0.2314, FID 12.57, ACC 42.12%, NED 0.6644를 달성했다. RealCE-val의 ×2에서 PRISM은 PSNR 21.00, LPIPS 0.1372, FID 33.71, ACC 84.28%, NED 0.9442를 보였고, ×4에서 PSNR 19.89, LPIPS 0.2043, FID 47.83, ACC 65.19%, NED 0.8521를 보였다. BTL-test에서 LPIPS/FID/NED에서 최상, ×4에서 ACC까지 종합적으로 우수한 성능을 보이며, RealCE-val에서도 PSNR/FID 등 다수 지표에서 강한 성능을 보임.

전체 아키텍처는 VAE 인코더를 통한 zl, zh를 이용해 FMPR의 Privileged Prior Pathway(Ep)와 Recoverable Prior Pathway(Elq)를 구성한다. Ep은 zl과 zh를 결합한 입력에서 c⋆를 생성하고, ẑ⋆h = Uθp(zl, c⋆)로 재구성한다. Lpriv = ||x̂⋆ − xh||1 + λlpips LLPIPS(x̂⋆, xh)를 최소화한다. Elq는 LQ_latent zl만으로 cl를 얻고, velocity field VFM은 ĉ의 도출 경로를 따라 c⋆로의 transport를 학습한다. ĉ는 ẑrh의 조건으로 사용된다. Stage2에서 SURE는 Fη를 통해 µ, σ를 예측하고 zs = µ + σ ⊙ ε를 샘플링한다. ps = Π(zs), mh = Sob el(xh)을 이용한 경계 타깃을 생성하고, Cη는 zl, ĉ, ps를 입력으로 다중 잔차 R를 예측한다. ẑsh = Uθ¯(zl, ĉ; R) 및 x̂sh = Dvae(ẑsh)로 복원한다. Lstage2는 Limg + λstr Lstr + λkl KL(N(µ,σ^2) || N(0,I))를 합산한다. FMPR은 Euler 분할(K=16)로 ĉ를 얻고, 최종 1-step diffusion으로 복원을 수행한다.