DecQ: Representation Autoencoders에서 Detail-condensing Queries를 활용한 재구성 및 생성 향상

frozen vision foundation model을 이미지 토크나이저로 사용할 때 저수준 디테일이 손실되어 재구성 품질이 떨어진다. DecQ는 intermediate features를 대상으로 하는 detail-condensing queries를 도입하고 이를 decoder에 함께 denoise하도록 구성하여, VFM의 시맨틱 공간을 유지하면서 재구성 품질과 생성 품질을 동시에 개선한다. PSNR은 19.13 dB에서 22.76 dB로 상승하고, gFID는 guidance 없이 1.41, guidance 시 1.05로 향상되며 수렴 속도도 크게 빨라진다.

단계1: 기존 RAEs는 frozen VFM의 시맨틱 공간을 사용하지만 저수준 디테일이 부족하다. 단계2: DecQ는 VFM의 중간 레이어를 대상으로 하는 K개의 learnable query 토큰(Q(0))을 도입하고 condenser 모듈을 각 레이어에 부착하여 Patch 토큰으로부터 보완 정보를 cross-attention으로 끌어온다. 단계3: Q 토큰과 Patch 토큰은 디코더에서 병합되어 재구성 및 생성에 활용되며, patch 토큰은 pixel 예측에, query 토큰은 디코더 self-attention에 참여해 세부 정보를 제공한다. 단계4: 생성 시 Zpatch와 Zquery를 확장된 잠재 시퀀스 Z=[Zpatch ∥ Zquery]로 결합하고, DiTDH 기반 흐름 매칭으로 함께 노이즈를 제거하여 고해상도 생성 품질을 높인다.

1. 전체 접근: frozen VFM과 ViT decoder를 유지하고, K개의 learnable query 토큰(Q(0))를 각 VFM 레이어에 Condenser로 연결한다. Q는 쿼리 벡터로 사용되며 Patch 토큰은 키/값으로만 사용되므로 VFM의 시맨틱 공간은 보존된다. 2) Condenser 구조: CrossAttn(Q, P) = Softmax((QWQ(PWK))/sqrt(d)) PWV 형태의 cross-attention으로 Q˜(l) = Q(l) + CrossAttn(LN(Q(l)), LN(P(l))) 이후 FFN(LN(Q˜(l))). 3) Dual-Stream Decoder: Zpatch와 Zquery를 디코더 입력으로 합친 뒤, 픽셀 예측은 patch 토큰으로 수행하고 query 토큰은 디코더 셀프 어텐션에 참여한다. 4) Generation: Z=[Zpatch ∥ Zquery]로 확장된 시퀀스를 DiTDH-XL 기반 모델로 joint denoise하고 디코더에서 최종 이미지를 산출한다. 5) 학습/추론: L = Lpatch + λquery·Lquery로 학습, inference 시 full latent sequence를 Gaussian 노이즈로 샘플링하고 flow ODE를 적분해 이미지를 얻는다.

주요 재구성 벤치마크에서 DecQ는 rFID 0.47, SSIM 0.63, PSNR 22.76를 달성하며 RAE 대비 재구성 품질을 크게 향상시킨다. 256×256 해상도에서 재구성 측정에서 VFM-based 토크나이저 중 최저 rFID를 기록한다. 생성 측정에서는 gFID 1.80(80 에폭, w/o guidance), 1.41(800 에폭, w/o guidance), 1.05(800 에폭, with guidance)로, 가이드 여부에 따라 생성 품질이 크게 향상된다. 수렴 속도는 3.3× 빨라지며, SigLIP2-B에서도 DecQ의 재구성/생성 이점이 확인된다. ablation에서 8개의 쿼리가 가장 좋은 성능-오버헤드 균형을 보이며, 레이어 배치(0,3,6,9)가 재구성-생성 트레이드오프에 차별적 영향을 준다. 토크나이저의 오버헤드는 +3.9%의 추가 계산과 +5.8%의 파라미터 증가로 요약된다.

1. 아키텍처 구성: 고정된 VFM 인코더, K개의 학습 가능한 쿼리 토큰(Q(0)), Condenser 모듈 다중 레이어 부착, Patch 토큰과 Query 토큰의 이중 스트림 디코더. 2) 핵심 수식/수학적 기반: CrossAttn(Q, P) = Softmax((QWQ(PWK))/sqrt(d)) PWV; Q˜(l) = Q(l) + CrossAttn(LN(Q(l)), LN(P(l))); Q(l+1) = Q˜(l) + FFN(LN(Q˜(l))). 3) Prior work 대비 차별점: VFM latent space의 semantics를 유지하면서 reconstruction-oriented 정보를 쿼리 토큰으로 보충, patch 토큰과 query 토큰을 분리된 두 스트림으로 디코딩, query 토큰의 예측도 학습에 기여. 4) 구현/학습 상세: ViT-XL 디코더, 8개의 쿼리, Layer 0/3/6/9에 Condenser 부착, L.patch와 L.query의 가중치, 50 샘플링 스텝, 8 GPU 학습, λquery=1.0. 5) Overhead 분석: Baseline 대비 +3.9% 계산, +5.8% 파라미터 증가. 6) Sampling/Guidance: AutoGuidance 사용, DiTDH-S를 강 guiding 모델로 사용.

ImageNet 256×256 해상도에 주로 의존하며 고해상도(512×512 이상) 조건에서의 확장성은 추가 연구 필요. SigLIP2/DINOv2 등 특정 VFM에서 실험했으며, 더 다양한 backbone에 대한 일반화 연구 필요. 더 많은 쿼리나 Condenser 배치를 사용할 경우 계산/메모리 오버헤드 증가 가능.