Qwen-Image-VAE-2.0 기술 보고서: 고압축 VAE로 재구성 품질과 확산성 동시 향상

고해상도 이미지 합성에서 일반적인 고압축 비율은 재구성 품질 저하를 유발한다. Qwen-Image-VAE-2.0은 Global Skip Connection(GSC), 대형 latent 채널, 그리고 세맨틱 얼라인먼트를 통해 고압축(f16/f32)에서도 재구성 품질을 유지하고 latent 공간의 diffusability를 향상시킨다. 텍스트-rich 문서의 재구성에 특화된 OmniDoc-TokenBench를 도입해 실제 텍스트 가독성을 평가하고, Downstream DiT의 수렴 속도를 대폭 개선한다.

출발점과 한계: 고압축 비율(f16, f32)에서 시각 정보의 손실은 재구성 품질의 저하로 이어진다. Latent 공간의 채널 확장을 통해 정보 용량을 보상하되, 확장된 채널이 Diffusion Transformer(DiT)의 학습에 불리하게 작용할 수 있다. 해결 원리: Global Skip Connection(GSC)으로 픽셀 정보를 초기 다운샘플링 단계에서 직접 latent로 전달하고, attention-free 백본과 비대칭 인코더-디코더 구조를 통해 학습 속도와 재구성 품질의 균형을 달성한다. 달라지는 점: semantic alignment를 통해 대형 채널 VAE의 diffusability를 높이고, 중간층 DINOv2 피처를 활용한 Lalign으로 DiT 수렴 속도를 가속화한다. 데이터와 학습: 수십억 이미지로 데이터 확장 및 텍스트-rich 문서에 특화된 합성 렌더링 파이프라인을 도입하고, KL/GAN 손실을 제거하여 학습 안정성과 재구성 품질을 강화한다.

전체 접근 방식: 입력 이미지 I를 VAE에 의해 z ∈ R^{H/f × W/f × C}로 매핑하고, DiT를 통해 확산 모델링을 수행한다. LLM의 순차적 토큰 배열이 아니라 Latent 공간에서의 확산이 수행된다. 계산 복잡도는 L = HW/f^2에서 결정되며, Self-Attention의 O(N^2) 복잡도 대신 Attention-Free 백본을 사용한다. 입력 해상도가 증가함에 따라 채널 차원을 확장하고, 확산 학습에는 비대칭 인코더-디코더 구조를 적용한다. 합성 데이터와 텍스트 렌더링 파이프라인으로 텍스트-rich 재구성을 강화한다. 수식/계산 원리: Ltotal = Lrecon + λ_lpips Llpips + λalign Lalign 이다. Lrecon은 pixel-level L1 손실, Llpips는 Zhang et al.의 perceptual loss이며, Lalign은 Latent를 semantic 피처 f에 맞춰 정렬하는 손실이다. KL 손실과 GAN 손실은 제거된다. 세부 수식: Lmcos(z′, f) = (1/N) ∑{p∈P} ReLU(1 − cos(z′p, f_p) − mcos); Lmdms(z′, f) = (1/N^2) ∑{p∈P} ∑{q∈P} ReLU(cos(z′_p, z′_q) − cos(f_p, f_q) − mdist); Lalign(z, f) = Lmcos(z′, f) + Lmdms(z′, f). 선택된 중간층의 DINOv2 피처 f ∈ R^{h×w×c}에 대해 z′ = Wz로 매핑하고, 공간 위치 P의 각 p에 대해 z′_p와 f_p를 정합한다. 학습 전략은 다단계로 진행되며, 해상도는 단계적으로 증가하고, 텍스트 데이터의 도입은 일반-도메인 → 실제 텍스트-rich 샘플 → 합성 텍스트 데이터 순으로 진행된다. 정합 마진(mcos, mdist)을 초기에는 엄격하게 적용하고, 학습이 진행될수록 완화시켜 semantically 일관된 latents와 고해상도 픽셀 재구성을 균형 있게 달성한다.

메인 벤치마크: ImageNet 256×256 및 FFHQ 1K에서 f16c64, f16c128, f32c128, f32c192 모델을 비교한다. 예를 들어 f16c64의 IS/PSNR/SSIM은 표에서 102.76/9.52/32.72/0.9086/39.14/0.9541로 기록되며, f16c128은 92.42/10.29/35.90/0.9519/43.10/0.9795를 기록한다. f32 계열의 경우 f32c128은 81.23/15.05/29.69/0.8423/35.91/0.9177, f32c192은 72.31/18.33/31.13/0.8785/37.52/0.9381이다. OmniDoc-TokenBench에서 NED은 f16c64 0.9244, f16c128 0.9617, f16c128은 텍스트-가독성에서 우수하다. 텍스트 렌더링 측면에서 3K 텍스트 이미지에 대해 NED가 주요 텍스트-충실도 지표로 활용되며, 0.9617은 상위 벤치마크 대비 우수한 텍스트 보존을 나타낸다. 확산성 측면에서 SiT-XL을 이용한 다운스트림 Diffusion 실험에서도 f16/f32 설정에서 DiT 수렴 속도가 개선되며, 동일 조건에서 Latent 공간의 semantically 정렬이 전달되었다. 이로써 고압축 비율에서도 재구성 품질 유지와 빠른 확산 모델 수렴 간의 균형을 달성한다.

구조: Global Skip Connection(GSC)으로 입력의 픽셀 정보를 공간에서 채널로 folding하고, S2C 연산으로 latent에 직접 연결한다. 인코더-디코더 비대칭: 경량 인코더와 무거운 디코더를 사용한다. 백본: Attention-Free 설계로 고해상도 입력의 처리량을 확보한다. 데이터: 수십억 이미지로 확장된 학습 데이터, 텍스트-rich 샘플 및 백그라운드 포함 합성 렌더링 파이프라인으로 문자 수준 재구성을 강화한다. 학습: Ltotal = Lrecon + λlpips Llpips + λalign Lalign, KL 및 GAN 손실 제거. 세맨틱 얼라인먼트은 DINOv2 중간층 피처 f를 사용하며, z′ = Wz로 매핑 후 Lmcos 및 Lmdms를 통해 z와 f의 정합을 최적화한다. 멀티 스테이지 학습으로 해상도를 낮은 시작점에서 2K까지 점진적으로 증가시키며, 초기에는 엄격한 정합 마진을 적용하고 점진적으로 완화한다.