RaysUp: 기하학적 레이 표현 기반 초경량 범용 특징 업샘플링

Vision Foundation Models의 출력 특징은 패치화 또는 풀링으로 인해 공간 해상도가 낮아 픽셀 단위 추론에서 한계가 발생한다. RaysUp는 이미지 평면 대신 카메라 레이 기하를 기반으로 특징 복원을 수행해 경계 흐림과 구조 왜곡을 완화한다. 이 접근은 기존의 무거운 범용 업샘플러보다 훨씬 적은 파라미터와 더 빠른 추론으로 실무에서의 적용 가능성을 높인다.

문제의 출발점은 VFM이 제공하는 특징이 강한 의미 표현을 가지지만 패치화나 풀링으로 인해 해상도가 낮아져 픽셀 수준의 정밀한 추론에 부적합하다는 점이다. 기존의 2D 보간이나 JBU 스타일 접근은 이미지 평면상의 유클리드 거리를 근거로 이웃을 정의하므로 투영 기하로 인해 발생하는 깊이 불연속이나 서로 다른 물리적 표면의 근접성을 적절히 반영하지 못한다. 따라서 이미지 공간 기반의 범위 커널로는 경계 보존과 구조 정합성에 한계가 있다. RaysUp의 해결 원리는 업샘플링을 픽셀 좌표 공간이 아닌 카메라 레이 공간으로 끌어올리는 것이다. 각 픽을 카메라 기원과 정규화된 방향을 결합한 6차원 레이 기술자로 표현하고 이를 다중 주파수의 위상 인코딩으로 변환하면 고해상도 쿼리와 저해상도 키 사이에 3D 기하 정보를 직접 주입할 수 있다. 이 레이 기반 인코딩은 RoPE의 회전 변조 아이디어를 1D 위치에서 3D 레이 기하로 확장하여 어텐션 연산이 기하학적으로 정렬된 레이들 사이에서만 강하게 활성화되도록 유도한다. 결과적으로 이 접근은 해상도 독립적인 쿼리-키 매칭과 지역 이웃 기반의 값 집계를 결합해 경계 흐림과 구조적 드리프트를 줄인다. Spatially Decoupled Guidance Encoder는 색상 기반 범위 대신 방향-감지 가이던스를 제공해 의미적 구조를 보완하고, Any-Resolution Cross-Attention과 Geometry-Aware Neighborhood Attention은 계산 복잡도를 제어하면서도 해상도 전반에서 일관된 특징 전파를 가능하게 한다. 이 조합은 파라미터를 크게 줄이면서도 다운스트림 dense prediction 과제에서 높은 성능을 유지하게 한다.

전체적인 파이프라인은 입력 RGB 이미지와 VFM에서 추출된 저해상도 특징을 받아 목표 해상도의 고해상도 특징을 재구성하는 과정으로 구성된다. 먼저 Spatially Decoupled Guidance Encoder가 입력 이미지를 수평·수직·대각·채널 분기로 분해하여 방향별 특징을 추출하고 이들을 채널 방향으로 연결해 가이던스 텐서를 얻는다. 그다음 적응적 평균 풀링을 통해 업샘플 해상도 쿼리와 VFM 해상도 키를 생성한다. RayPE 단계에서는 각 쿼리·키 위치에 대응하는 픽셀을 카메라 행렬과 외부 파라미터로부터 6차원 레이 기술자로 변환하고 로그-스페이스 주파수 집합을 곱해 다중 밴드 위상 벡터를 만든다. 이 위상 벡터는 RoPE 스타일의 회전 변조로 가이드 특징의 절반 쌍에 적용되어 레이 기반 회전 변조된 특징을 얻는다. 이어서 Geometry-Aware Neighborhood Cross-Attention가 각 고해상도 쿼리에 대해 저해상도 값의 k×k 팽창된 이웃을 소프트맥스 가중치로 집계하여 최종 고해상도 특징을 구성한다. 학습은 재구성 목표로 이루어지며 손실은 코사인 유사도 손실과 L2 거리 손실의 합으로 정의된다. 학습 데이터는 ImageNet을 사용했고 저해상도 입력은 무작위 스케일 s∈[2,4]로 생성되며 고해상도 목표 특징은 동일한 VFM을 통해 얻는다. 구현 세부사항으로는 AdamW 옵티마이저, 학습률 2×10^-4, 배치 크기 4, 100,000 반복훈련이 사용되었고 단일 NVIDIA A100에서 약 1시간 내로 학습이 완료되었다.

주요 벤치마크 결과에서 RaysUp는 semantic segmentation, depth 및 normal estimation, 비디오 객체 분할, 그리고 open-vocabulary segmentation에서 대부분의 지표에서 최고 또는 준수한 성능을 달성했다. 표준 벤치마크 예로 COCO-Stuff, ADE20K, Pascal-VOC, Cityscapes, NYUv2, DAVIS 등이 사용되었고 표에 제시된 수치에서 RaysUp는 다수의 경우 AnyUp와 기존 방법을 상회했다. 특히 표면 법선 및 깊이 추정과 같은 기하학적 예측 과제에서 우수한 결과를 보였다. 효율성 측면에서 RaysUp는 224×224 기준으로 파라미터 0.14M, 10.17 GFLOPs, GPU 메모리 1.26GB, 55 FPS를 기록하여 비교 대상들보다 현저히 가벼운 연산 및 빠른 추론을 보였다. 해상도를 448×448, 896×896, 2K×2K로 확장해도 각각 27 FPS, 8 FPS, 1 FPS로 동작 가능하여 많은 기존 방법들이 고해상도에서 OOM 또는 현저한 속도 저하를 겪을 때도 실행 가능성을 유지했다. 논문은 RaysUp가 AnyUp 대비 파라미터는 약 16%, 추론 속도는 약 7배 개선된다고 보고했다.

아키텍처는 크게 Spatially Decoupled Guidance Encoder, Any-Resolution Cross-Attention, RayPE, Geometry-Aware Neighborhood Cross-Attention의 네 부분으로 구성된다. Guidance Encoder는 입력 이미지에 대해 1×1, 1×3, 3×1, 2×2(dilated) 컨볼루션 브랜치를 병렬로 운용하고 각 브랜치에 Group Normalization과 SiLU 활성화, 얕은 잔차 블록을 적용해 방향별 특징을 얻어 최종적으로 채널 결합한다. 이 구성은 표준 3×3 컨볼루션 대비 파라미터 수를 크게 줄이고 방향성 기반 수용역을 명시적으로 모델링한다. RayPE는 각 픽의 카메라 레이 기원 오브젝트 o와 정규화된 방향 d를 결합한 6차원 레이 벡터를 만든다. 로그-스페이스로 배치한 다중 주파수 집합 ω_f를 레이 성분에 곱해 6×N 위상 행렬을 만들고 이를 평탄화하여 6N 차원의 위상 벡터 θ를 얻는다. 이 θ를 RoPE 유사 회전 행렬(cosθ, -sinθ; sinθ, cosθ)로 활용해 어텐션 헤드 내 절반 차원 페어에 원소별 회전 변조를 적용함으로써 위치 정보 대신 레이 기하에 기초한 회전 기반 변조를 수행한다. Geometry-Aware Neighborhood Cross-Attention은 각 고해상도 쿼리에 대해 저해상도 키의 k×k 이웃만을 참조하고 해상도 비율에 따라 dh, dw 팽창 인자를 적용한다. 이때 어텐션 스코어는 (Q_ray)^T K_ray / sqrt(d) 형태로 계산되어 소프트맥스로 정규화되고 로컬 값 V에서 가중합을 수행한다. 이 설계는 계산 복잡도를 O(H_any W_any · k^2)로 줄이며 레이 방향이 유사한 위치들 간의 상호작용만 허용해 기하학적 일관성을 보장한다. 학습 세팅은 ImageNet 기반으로 진행되었으며 optimizer는 AdamW, 학습률 초기값은 2×10^-4, 배치 크기는 4, 총 100,000 iterations로 설정되었다. 입력 고해상도 이미지는 448×448로 통일했고 업샘플러의 가이던스 입력은 224×224로 다운샘플하여 처리해 학습 효율을 높였다. 전체 학습은 단일 NVIDIA A100에서 약 1시간 내로 완료된 것으로 보고되었다. 효율성 측정에서 RaysUp는 224×224 해상도에서 0.14M 파라미터, 10.17 GFLOPs, GPU 메모리 1.26GB, 55 FPS를 기록했고 448×448에서는 40.67 GFLOPs와 27 FPS, 896×896에서는 162.68 GFLOPs와 8 FPS로 보고되었다. Ablation 결과에서는 Decoupled-Branch 가이던스 구조와 RayPE의 결합이 성능 향상에 결정적 영향이 있었고, RayPE 없이는 평균 성능이 유의미하게 하락했다.