ViT-Up: Vision Transformers를 위한 Faithful Feature Upsampling

Vision Transformer(ViT)의 패치 토큰 격자는 self-attention의 O(N^2) 복잡도 때문에 보통 해상도가 낮다. 이로 인해 Dense prediction과 정밀한 공간 추론이 어려워진다. 기존 이미지 가이드 기반 업샘플링은 피처 누수(leakage)와 분해를 유발하는 경우가 많고, 백본의 표현 공간에 잘 맞지 않는 고해상도 신호를 필요로 한다. ViT-Up은 Backbone의 중간 계층에서 얻은 히든 스테이트를 층별로 조합해 좌표 조건의 임펄스형 디코더를 구축하고, 외부 이미지 가이드 없이도 임의의 연속 좌표에서 백본 피처를 추정한다. 이로써 피처 업샘플링의 질을 높이고, 악영향인 leakage/fragmentation를 줄인다.

출발점: ViT의 패치 토큰 격자는 비용 문제로 해상도가 제한되며, dense prediction에서 고해상도 피처가 필요하다. 기존 이미지-guided upsampling은 시각적 선명도는 높이지만, 피처 공간에서의 의미 구분이 흐려진다. 해결 원리: layer-wise ViT hidden states를 이용해 좌표 xq에서 Dense query features를 생성하고, FeatX로 서브토큰 정보를 보강한다. 학습은 multi-scale teacher 피처를 활용한 self-distillation으로, 서로 다른 token-grid 해상도에서도 피처 구조가 backbone 피처 공간과 일치하도록 한다. 달라지는 점: 외부 이미지 가이던스를 배제하고, backbone의 계층 구조에 직접 맞춘 임펄스형 디코더를 통해 더 faithful하고 지역적으로 상세한 피처를 얻는다. 결과적으로, backbone 용량이 커질수록 ViT-Up의 이점이 커지며, SPair-71k의 PCK와 Cityscapes의 mIoU에서 가장 큰 차이를 보인다.

1. Query Embedding: ViT patch embedding 레이어를 재활용해 쿼리 임베딩 q0를 만들고, 이를 224×224 패치-토큰 격자에서 보간한다. 2) ViT-Up Block: qt = Ut(qt−1, xq, Hl[t]); cross-attention은 입력원에서 토큰 컨텍스트를 수집하고, RoPE가 continuous 좌표에 따라 쿼리/키를 변환한다. 3) FeatX: x_sub-token = MLP( LN(h_nn) ⊙ (1+γ) + β )로 sub-token 정보를 보정한다. 4) Backbone Adaptation: LoRA를 이용해 patch embedding 및 attention projection에 적응을 적용한다. 5) Training: Multi-scale feature supervision with teacher resolutions (14×14, 28×28, 56×56) and student 입력 해상도(56×56 grid)로 학습하며, L2, cosine, KL(softmax) 손실을 사용한다. 6) Loss: L = Σℓ Σn (λL2 L2ℓ,n + λcos cosℓ,n + λrel relℓ,n). 각 손실은 teacher와 student 피처의 정합성 및 구조 보존을 목표로 한다.

주요 벤치마크에서 ViT-Up은 대체로 향상된 성능을 보인다. Dense probing에서 VOC mIoU 87.47, Cityscapes mIoU 65.41, COCO mIoU 64.09, ADE20K 44.73를 달성했고, COCO depth δ1은 62.72, RMSE는 59.82로 개선된다. SPair-71k에서 [email protected]은 55.44로, 베스트 비-ViT-Up 대비 +4.17 포인트 개선이다. NAVI에서 [email protected]은 80.81로, +0.50 포인트 개선이다. DINOv3-B 백본으로 확장 시 Cityscapes에서 NAF 대비 mIoU 차이가 3.36 포인트로 커진다. 또한 0.1/0.05/0.01 임계치의 SPair-71k PCK에서 각각 +8.09/+? 포인트 등 큰 개선이 관찰된다. Ablation에서 Cross-Attention 제거 시 성능이 감소하고, FeatX 제거 시 세부 텍스처가 손실되며, 6개 refinement layer가 base 설정에서 가장 좋다. Output feature 해상도 증가는 56×56까지 뚜렷한 이득을 주고 112×112에서 추가 이득이 있지만, 224×224에서 더 큰 이득을 얻는 경향이 있으며 448×448에서 다소 포화된다. 런타임/메모리: 단일 H100에서 448×448 출력 해상도에 대해 쿼리 청크 크기에 따라 메모리/실행 시간이 달라지며, 112×112 쿼리 청크를 사용하면 최저 메모리 사용량을 달성한다. ViT-Up은 기존 이미지-가이던스 기반 업샘플러보다 뛰어난 피처 공간 보존과 합성능을 보여주며, backbone이 커질수록 성능 이점이 커진다.

:{

제한: 백본 히든 스테이트에 의해 제한되며, 보완적 고해상도 정보를 완전히 재현할 수는 없다. 56×56 해상도에서 성능이 괜찮으며, 112×112를 넘어가도 회수되는 세부가 제한될 수 있다. ViT-Up은 현재 백본에 대해 별도로 학습되며, 백본-자체와의 커플링이 필요하다. 공동 학습으로 상호 보완적 이점을 얻을 수 있다.