SpatialBench: 공간 기반 모델의 만능성에 도전하는 cross-paradigm 벤치마크

공간 재구성/지오메트리 추정 모델은 다양한 downstream 작업과 viewpoints에서의 일반화 능력이 핵심이다. 기존 평가가 특정 도메인과 짧은 시퀀스에 국한되면서 실제 응용 환경의 도메인 간 편향을 충분히 드러내지 못한다. SpatialBench는 19개 데이터셋과 546씬, 41모델, 6 Paradigms를 포괄하며 deterministic sampling으로 재현 가능한 교차-패러다임 비교를 가능하게 한다. 이를 통해 데이터 품질, 도메인 매칭, 입력 밀도에 따른 성능 차이를 체계적으로 분석하고, DA-Next-5M 데이터와 DA-Next 모델이 embodied/egocentric 도메인에서의 OOD 문제를 어떻게 해소하는지 제시한다.

출발점과 한계: 3D 공간 이해 모델은 이미지/비디오로 시맨틱-기하학적 구조를 추정한다. 기존 연구들은 주로 indoor/고정된 시나리오의 제한된 뷰 수에서 성능을 평가했고, 긴 시퀀스의 메모리/드리프트 문제와 도메인 간 일반화의 한계를 충분히 진단하지 못했다. SpatialBench는 이 한계를 해결하기 위해 deterministic sampling 기반의 다중 밀도 평가 프로토콜과 다수 도메인을 포괄하는 벤치마크를 제시한다. 해결 원리: 4개의 밀도(regime)에서 동일한 scene을 평가해 시퀀스 밀도에 따른 성능 변화를 분리하고, Full-context attention과 BoundMemory 접근을 비교한다. 또한 egocentric/wrist-view 도메인에서의 OOD 문제를 데이터 측면에서 보완하기 위해 DA-Next-5M과 DA-Next를 제시한다. 변경점: (1) Full-context 모델은 같은 입력 예산에서 여전히 최고 정확도 영역을 차지하지만, bounded-memory 모델은 긴 시퀀스에서 지속가능한 추정이 가능하도록 메모리 제약을 완화한다. (2) 데이터 품질과 도메인 매칭이 성능에 큰 영향을 주며, 도메인 특화 데이터(Dataset 매칭)로 OOD 문제를 크게 축소할 수 있다. (3) DA-Next-5M 도메인 확장을 통해 ego-view/wrist-view의 일반화 갭을 줄이는 실증 근거를 제공한다.

구조: Depth-Anything-Next(Depth-Anything-Next; DA-Next) 아키텍처는 I = {I_i}의 프레임 시퀀스와 보조 카메라 정보를 입력으로 받아 depth 맵 D_hat, ray 맵 R_hat, 스케일 S_hat, 컨피던스 맵을 예측한다. 영상 프레임은 patch tokens e_f로 변환되고, camera tokens e_c 및 scale tokens e_s와 함께 Transformer 인코더 E에 입력된다. 프레임-별 self-attention과 글로벌 self-attention이 L 레이어에서 교대하며, Dual-DPT 헤드를 통해 D_hat 및 R_hat를 산출하고 스케일 head를 통해 S_hat를 회귀한다. 전체 포인트 클라우드는 D_hat, R_hat, S_hat로부터 생성된다. 손실은 L = L_depth + α L_grad + L_ray + L_pmap + L_scale로 구성되며, ground-truth 신호는 per-scene scale을 정규화하여 일관된 스케일 표현을 달성한다. 카메라 conditioning은 학습 시 확률적으로 GT 카메라 토큰을 입력으로 주입하거나, e_c를 placeholder로 대체하는 방식으로 구현된다. 데이터 전처리는 19개 공개 데이터셋으로 구성된 SpatialBench의 멀티-도메인 큐레이션 파이프라인으로 수행되며, S2M2, MapAnything, SAM3 등의 도구를 이용해 깊이 및 포즈를 보정한다. 학습 상세: DA-Next 아키텍처는 DA3-Giant 기반으로 41 Transformer 블록을 사용하며, 프레임당 18 프레임 구성의 배치를 활용하고 BF16 혼합 정밀도로 7일간 학습한다. 데이터는 DA-Next-5M(18 datasets, 5.5M 프레임) + 11개 일반 3D 데이터셋의 혼합으로 학습한다. 데이터 샘플링은 pose 거리 기반으로 18프레임을 샘플링하고, 각 배치는 anchor 프레임 하나와 유효 프레임 범위에서 남은 프레임을 무작위로 샘플한다. 하이퍼파라미터는 1×10^-5 ~ 2×10^-5의 학습률, cos 또는 linear 스케줄, warm-up 5k 스텝, gradient clipping 1.0, 멀티-스케일(3 레벨) 그레이디언트를 사용한다. 프레임 길이가 길어질수록 bounded-memory 계열이 우세하며, Dense 입력에서 OOM 없이 실행되는 것이 제한적이다.

공간Bench의 한계로 평가 비용과 메모리 제약이 제시된다. 벤치마크는 8대 GPU 간 NVLink로 연결된 H200 시스템에서 수행되며, Dense regime에서의 일부 모델은 메모리 초과(OOM) 또는 타임아웃(T.O)을 초래할 수 있다. 일부 모델의 하이퍼파라미터 튜닝은 필요하나, 벤치마크의 목표상 범용 튜닝은 제한된다. 또한 새로운 모델의 추가 반영은 계속될 예정이며, 데이터 도메인 커버리지 측면의 추가 개선 여지가 남아 있다.