DVD: 생성형 사전 지식을 활용한 결정론적 비디오 깊이 추정

기존 비디오 깊이 추정은 생성 모델의 무작위성으로 인한 왜곡이나 판별 모델의 방대한 데이터 요구량이라는 한계가 있었다. 이 논문은 사전 학습된 비디오 확산 모델을 결정론적 회귀 모델로 변환하여, 아주 적은 데이터만으로도 일관성 있고 정밀한 깊이 지도를 생성하는 새로운 경로를 제시한다.

기존 비디오 깊이 추정은 두 갈래로 나뉜다. Diffusion 기반 생성 모델은 풍부한 표현력을 갖지만 매번 결과가 달라지는 무작위성 때문에 기하학적 왜곡이 발생한다. 반면 ViT 기반 판별 모델은 결과는 일정하지만, 모호한 영역을 처리하기 위해 수천만 장의 정답 데이터가 필요하다는 한계가 있다.

DVD는 확산 모델의 강력한 사전 지식을 그대로 쓰되, 이를 한 번에 답을 내는 결정론적 회귀 모델로 바꾼다. 핵심은 확산 과정의 타임스텝을 고정된 구조적 가이드로 쓰는 것이다. 타임스텝이 크면 전체적인 윤곽에 집중하고 작으면 세부 묘사에 집중하는 특성을 이용해, 최적의 균형점을 찾아 고정함으로써 모델이 항상 일관된 기하 구조를 출력하게 만든다.

또한 회귀 모델 특유의 평균 수렴 문제(결과가 뭉개지는 현상)를 해결하기 위해 잠재 공간에서 인접 프레임 간의 차이(미분값)를 정답과 맞추는 방식을 도입했다. 이를 통해 모델은 단순히 깊이 값만 맞추는 게 아니라 사물의 경계와 움직임의 흐름까지 정확히 학습하게 되어, 데이터가 적어도 매우 선명한 비디오 깊이 지도를 얻을 수 있다.

전체 프레임워크는 사전 학습된 비디오 확산 모델을 백본으로 사용하며, 이를 단일 패스 회귀 모델로 변환한다. 입력 RGB 비디오를 VAE 인코더를 통해 잠재 공간으로 투영한 뒤, 고정된 타임스텝 τ를 조건으로 주어 깊이 잠재 변수를 직접 예측한다. 타임스텝은 사인파 기반 임베딩을 거쳐 모델의 연산 과정을 제어하는 구조적 앵커 역할을 수행하며, 실험적으로 τ=0.5에서 최적의 성능을 보였다.

잠재 매니폴드 정류(LMR)는 공간적 및 시간적 미분 제약 조건을 포함한다. 공간적으로는 인접 픽셀 간의 차이인 Latent Gradient를 계산하여 예측값과 실제값의 기울기를 일치시키고, 시간적으로는 프레임 간 차이인 Latent Flow를 정렬한다. [인접 픽셀/프레임 값 입력 → 차분 연산 수행 → 기울기/흐름 오차 도출 → 경계 및 연속성 복원] 순으로 작동하여 회귀 학습 시 발생하는 평균 붕괴를 방지한다.

긴 비디오 처리를 위해 전역 어핀 일관성을 활용한 슬라이딩 윈도우 추론을 수행한다. 인접한 두 윈도우의 겹치는 영역에서 깊이 값들의 공분산과 분산을 계산하여 스케일(s)과 편차(t)라는 선형 변환 파라미터를 도출한다. [중첩 영역 픽셀값 입력 → 최소자승법 연산 → s, t 파라미터 출력 → 전체 윈도우 보정] 과정을 통해 윈도우 간 끊김 없는 연결을 구현한다.

KITTI, ScanNet, Bonn, Sintel 등 주요 벤치마크에서 제로샷 성능 SOTA를 기록했다. 특히 ScanNet 비디오 데이터셋에서 AbsRel 5.5를 기록하며 기존 생성 모델인 DepthCrafter(7.1)와 판별 모델인 VDA(5.8)를 모두 앞질렀다. 이는 모델이 학습하지 않은 환경에서도 매우 높은 범용성을 가짐을 보여준다.

데이터 효율성 측면에서 압도적인 성과를 보였다. VDA가 6,000만 프레임의 데이터를 사용한 반면, DVD는 163배 적은 36.7만 프레임만으로도 더 높은 정확도를 달성했다. 또한 긴 비디오 추론 안정성 테스트에서 1,500프레임 이상의 시퀀스에서도 오차 누적 없이 일관된 스케일을 유지하며 깜빡임 없는 결과를 생성했다.

DVD는 비디오 확산 트랜스포머(DiT) 아키텍처를 기반으로 하며, 반복적인 노이즈 제거 과정 대신 단일 순전파로 깊이를 예측하도록 재설계되었다. VAE의 잠재 공간에서 직접 연산이 수행되어 메모리 효율성을 극대화했으며, Rectified Flow의 결정론적 해석을 통해 특정 타임스텝 τ에서의 직접적인 매핑 함수를 학습하도록 최적화 목표를 수정했다.

LMR 기법은 신경망 학습 시 다봉 분포의 데이터를 처리할 때 발생하는 평균으로의 회귀 문제를 해결한다. 1차 미분 일관성을 강제함으로써 잠재 공간의 매니폴드가 붕괴되지 않고 데이터의 고주파 성분을 보존하도록 유도한다. 이는 특히 물체의 경계선이나 빠른 움직임이 있는 구간에서 깊이 지도의 선명도를 유지하는 핵심 기전이다.

학습 전략으로는 이미지-비디오 공동 학습을 채택했다. 정지 이미지는 공간적 선명도를 제공하는 앵커 역할을 하고, 비디오 시퀀스는 시간적 일관성을 학습하게 하여 두 특성을 동시에 확보했다. LoRA를 attention 블록에 적용하여 백본의 사전 지식을 보존하면서 512 랭크 설정으로 효율적인 파라미터 튜닝을 수행했다.

극한의 동적 환경(장기 폐색, 급격한 조명 변화, 불규칙한 카메라 움직임)에서는 전역 어핀 가정이 깨져 스케일 불일치가 발생할 수 있다. 또한 8배 다운샘플링된 VAE 잠재 공간에서 작동하므로 아주 미세한 기하학적 구조의 복원에는 물리적인 한계가 존재한다.