VGGT-Det: 센서 기하 정보가 없는 다중 뷰 실내 3D 객체 탐지를 위한 VGGT 내부 사전 지식 활용

현재의 다중 뷰(multi-view) 실내 3D 객체 탐지기들은 다중 뷰 정보를 전역 장면 표현으로 융합하기 위해 획득 비용이 많이 드는 센서 기하 정보(sensor geometry), 즉 정밀하게 보정된 다중 뷰 카메라 포즈(camera poses)에 의존하며, 이는 실제 환경에서의 배포를 제한합니다. 본 연구에서는 센서가 제공하는 기하학적 입력(다중 뷰 포즈 또는 깊이)이 없는 더욱 실용적인 설정인 센서 기하 정보 부재(Sensor-Geometry-Free, SG-Free) 다중 뷰 실내 3D 객체 탐지를 목표로 합니다. 최근의 시각 기하 기반 트랜스포머(Visual Geometry Grounded Transformer, VGGT)는 이미지로부터 직접 강력한 3D 단서를 추론할 수 있음을 보여주었습니다. 이러한 통찰을 바탕으로, SG-Free 다중 뷰 실내 3D 객체 탐지를 위해 맞춤 설계된 최초의 프레임워크인 VGGT-Det를 제안합니다. 단순히 VGGT의 예측값을 사용하는 대신, VGGT 인코더를 트랜스포머 기반 파이프라인에 통합합니다. VGGT 내부의 의미론적(semantic) 및 기하학적(geometric) 사전 지식을 효과적으로 활용하기 위해 두 가지 새로운 핵심 구성 요소를 도입합니다. 첫째, 어텐션 가이드 쿼리 생성(Attention-Guided Query Generation, AG)은 VGGT 어텐션 맵을 의미론적 사전 지식으로 활용하여 객체 쿼리(object queries)를 초기화하며, 전역 공간 구조를 유지하면서 객체 영역에 집중함으로써 위치 추정 성능을 향상시킵니다. 둘째, 쿼리 기반 특징 집계(Query-Driven Feature Aggregation, QD)는 학습 가능한 'See-Query'가 객체 쿼리와 상호작용하여 필요한 정보를 파악하고, 2D 특징을 3D로 점진적으로 변환하는 VGGT 레이어 전반의 다단계 기하학적 특징을 동적으로 집계합니다. 실험 결과, VGGT-Det는 SG-Free 설정에서 기존 최고 성능의 방법론을 ScanNet에서 4.4 mAP@0.25, ARKitScenes에서 8.6 mAP@0.25 차이로 크게 앞질렀습니다. 절제 연구(Ablation study)를 통해 VGGT에서 내부적으로 학습된 의미론적 및 기하학적 사전 지식이 AG와 QD를 통해 효과적으로 활용될 수 있음을 입증했습니다.