PiD: Pixel Diffusion으로 빠르고 고해상도 잠재 디코딩

Latent-to-pixel 디코딩에서 기존 VAE 디코더는 재구성 중심으로 세부 표현에 한계가 있으며, 해상도가 커질수록 품질 저하가 두드러진다. PiD는 latent conditioning과 pixel diffusion를 결합해 디코딩과 업샘플링을 하나의 모듈로 통합하고, 4× 및 8× 업샘플링에서 낮은 지연과 더 우수한 시각 품질을 달성한다. 또한 semantic latents(DINOv2, SigLIP)에도 적용 가능하고, DMD2를 통한 4스텝 추론으로 효율이 크게 향상된다.

출발점: Latent diffusion 모델은 잠재 공간에서 이미지를 생성하고, 이를 픽셀 공간으로 맵핑하는 디코더가 재구성 중심으로 동작한다. 이로 인해 고주파 디테일의 재현이 제한되며, 대규모 해상도에서 계산 비용이 증가한다. 해결 원리: PiD는 latent를 조건으로 하는 픽셀 공간 확산으로 디코딩을 재구성하고, decoding과 upsampling을 단일 확률적 제네레이티브 모듈로 통합한다. Latent는 글로벌 레이아웃과 의미를 제공하고, 픽셀 프리어Prior가 고주파 디테일을 보충한다. 달라지는 점: 1) 4×/8× 해상도에서 직접 픽셀 공간에서 디노이즈를 수행하고 고해상도 출력을 생성한다. 2) sigma-aware latent adapter로 노이즈 수준에 따른 conditioning 강도를 제어한다. 3) DMD2로 4단계 추론으로 추론 시간을 크게 단축하고, partially denoised latents에서도 품질을 유지한다. 4) RAEs나 DINOv2/SigLIP 같은 semantic latents에 적용 가능해, 기존 RAEs의 표현력 보완 및 텍스트-이미지 정합성 향상을 도모한다.