SpaceDG: 시각적 저하 하의 공간 지능 벤치마크

현실 환경의 시각 입력은 흐림, 왜곡, 어두움 등으로 변형된다. 기존 공간 벤치마크는 깨끗한 영상에 의존해 모델의 공간 추론 능력을 과대평가할 수 있다. SpaceDG는 9가지 degradations를 물리 기반으로 시뮬레이션하고 3D Ground-Truth를 유지한 상태에서 대규모 QA 쌍과 인간 검증 벤치마크를 제공한다. 이를 통해 degradation-aware training의 필요성과 강건한 공간 인지의 가능성을 제시한다.

출발점: 공간 지능은 2D 영상으로부터 3D 공간 관계를 추정하는 능력이다. 현실 세계의 입력은 Defocus, Distortion, Haze, Water Droplets, Low Light, Over-Exposure, JPEG Compression, Low Resolution, Motion Blur 등으로 왜곡되어 세부 기하 증거가 약해진다. 해결 원리: SpaceDG는 3DGS를 통해 기하를 보존한 채 9종 degradations를 물리적으로 합성하고, 자동 QA 파이프라인으로 Ground-Truth 3D를 활용한 QA를 생성한다. 또한 SAM3 기반 개체 설명과 covisibility 기반 뷰 샘플링으로 단일/다중 뷰 질문을 구성하고, degradation-aware training으로 저하 환경에서도 robust한 공간 추론을 학습한다. 달라진 점: degradation-aware SFT는 깨끗한 입력에서도 성능 저하를 줄이고 degradations에 따른 예측 불확실성을 감소시킨다. 또한 객체 수준의 세부 인식이 저하에 더 취약함을 밝히고, 글로벌 기하 추론은 상대적으로 덜 민감하다는 점을 확인한다.

1. 데이터 엔진: 3DGS 기반의 기하 일관된 장면 재구성, DepthAnything-v3 및 COLMAP으로 깊이와 카메라 포즈 추정, SAM3로 마스크를 얻고 뷰 간 객체를 3D 인스턴스로 연결. covisibility 기반의 쌍 이미지 샘플링으로 단일 뷰/다중 뷰 QA를 구성. Ground-truth은 extrinsics, 3D 박스 중심, 물체 확장 등으로 산출. 2) Degradation 합성: Defocus/Distortion은 프리 렌더링, Haze/Water Droplets/Low-light/Over-exposure/JPEG/Low-res는 포스트 렌더링으로 적용. 3) QA 초기화: 3D 인스턴스에 대해 SAM3 마스크의 설명을 생성하고, 템플릿으로 QA를 구성한 뒤 자동 계산된 정답으로 Ground-Truth를 확보. 4) 평가 설정: Degradation Prompt를 통해 저하 정보를 제공하고 모델의 저하 인식 및 Reasoning에 미치는 영향을 분석. 5) 학습/검증: SpaceDG-SFT로 Qwen3-VL-8B-Instruct 및 InternVL-3.5-8B를 1에폭 학습, 8×GPU 사용.

메인 벤치마크에서 SpaceDG-SFT-Qwen3-VL-8B-Instruct의 평균 정확도는 66.1%로, 깨끗한 입력 73.2% 및 degradations 조건에서 66.1%를 달성했다. 인간의 degraded 기준은 59.5%였다. Ablation 결과에선 No-SFT의 Avg가 42.1%였고 Full-SFT(저하 포함) Avg는 66.1%, Full-SFT(깨끗한 이미지) Avg는 64.8%로 나타났다. 저하 유형 가운데 Low-light와 Haze가 가장 큰 성능 저하를 유발하며, Object-centric 태스크가 특히 민감하다. CoT 실험에서 degradation-guided CoT의 효과는 일관되게 증가시키진 못했고, 특정 구성에서 약간의 성능 저하를 보이기도 했다. 인간대 모델 비교에서 SpaceDG-SFT는 degraded에서 인간 대비 격차를 좁히지만 여전히 완전한 로버스트를 달성하진 못한다.

SpaceDG 엔진은 3DGS 기반의 기하 일관성 렌더링과 물리 기반 degradations 파이프라인으로 구성된다. Defocus/Distortion은 프리 렌더링으로 적용하고, Haze, Water Droplets, Low-light, Over-exposure, JPEG, Low-res는 포스트 렌더링으로 적용한다. QA 초기화는 SAM3 마스크를 이용한 per-instance 설명과 covisibility 기반 뷰 페어 선정을 통해 구성되며 Ground-Truth는 3D extrinsics 및 물체 박스 정보를 통해 산출한다. Degradation Prompt 템플릿과 degradation-aware CoT 실험은 저하 조건에서의 추론을 분석한다. SpaceDG-SFT는 971k QA, 160k+ 이미지로 구성된 데이터에서 1에폭 학습한다.

ScanNet++ 기반의 indoor 환경에 한정되며 9종 degradations만 다룬다. rain, snow, lens flare 등 추가 저하 유형은 미포함이며, 3DGS 기반 합성의 편향 가능성 및 실제 극단적 복합 저하에 대한 일반화 한계가 존재한다.