DVD: 생성적 사전 지식을 활용한 결정론적 비디오 깊이 추정

기존의 비디오 깊이 추정(video depth estimation)은 근본적인 트레이드오프(trade-off)에 직면해 있습니다. 생성 모델(generative models)은 확률적 기하학적 환각(stochastic geometric hallucinations)과 스케일 드리프트(scale drift)로 고통받는 반면, 판별 모델(discriminative models)은 의미론적 모호성(semantic ambiguities)을 해결하기 위해 방대한 라벨링된 데이터셋을 요구합니다. 이러한 교착 상태를 타개하기 위해, 우리는 사전 학습된 비디오 확산 모델(video diffusion models)을 단일 패스 깊이 회귀 분석기(single-pass depth regressors)로 결정론적으로 적응시키는 최초의 프레임워크인 DVD를 제시합니다. 구체적으로 DVD는 세 가지 핵심 설계를 특징으로 합니다. (i) 확산 타임스텝(diffusion timestep)을 구조적 앵커(structural anchor)로 재사용하여 전역적 안정성과 고주파 세부 사항(high-frequency details) 간의 균형을 맞춥니다. (ii) 잠재 매니폴드 정류(latent manifold rectification, LMR)를 통해 회귀로 인한 과도한 평활화(over-smoothing)를 완화하고, 미분 제약 조건(differential constraints)을 적용하여 날카로운 경계와 일관된 움직임을 복원합니다. (iii) 윈도우 간 발산(inter-window divergence)을 제한하는 고유 속성인 전역 어핀 일관성(global affine coherence)을 통해 복잡한 시간적 정렬 없이도 원활한 긴 비디오 추론을 가능하게 합니다. 광범위한 실험을 통해 DVD가 벤치마크 전반에서 최첨단(state-of-the-art, SOTA) 제로샷(zero-shot) 성능을 달성함을 입증했습니다. 또한 DVD는 주요 베이스라인보다 163배 적은 작업 특화 데이터(task-specific data)를 사용하여 비디오 파운데이션 모델(video foundation models)에 내재된 심오한 기하학적 사전 지식(geometric priors)을 성공적으로 활용합니다. 특히 우리는 전체 파이프라인을 완전히 공개하여, 오픈소스 커뮤니티에 도움이 되도록 최첨단 비디오 깊이 추정을 위한 전체 학습 스위트를 제공합니다.