VGGT-Det: 센서 기하 정보가 없는 다중 뷰 실내 3D 객체 탐지를 위한 VGGT 내부 사전 지식 활용 연구

기존 3D 객체 탐지는 정밀한 카메라 위치 정보가 필수적이라 실제 환경 적용이 어려웠다. 이 논문은 추가 센서 데이터 없이 이미지 자체에서 추출한 기하학적 정보를 활용해 이 한계를 극복하고 실용성을 높였다.

기존 3D 탐지는 이미지 특징을 3D 공간으로 투영하기 위해 카메라의 위치와 각도라는 외부 정보에 의존한다. 하지만 실제 환경에서 매번 정밀한 센서 값을 얻기는 비용이 많이 들고 오차가 발생하기 쉽다. VGGT-Det은 이미지 내부의 Attention Mechanism과 계층적 특징에 주목한다. 딥러닝 모델이 이미지를 처리할 때 특정 물체에 집중하는 패턴 자체가 이미 그 물체의 위치와 의미에 대한 훌륭한 힌트가 된다는 점을 이용한다. 이를 통해 외부 센서 데이터 없이도 모델 스스로 어디를 봐야 할지와 어떤 깊이 정보를 가져와야 할지를 판단하게 함으로써 데이터 의존성을 낮추고 탐지 성능을 극대화했다.

VGGT 인코더를 기반으로 한 Encoder-Decoder Transformer 구조를 채택한다. 입력된 다중 뷰 이미지는 VGGT를 거쳐 3D 정보를 포함한 토큰 시퀀스로 변환되며 이를 하나로 결합하여 통합 표현을 생성한다. Attention-Guided Query Generation(AG) 단계에서는 VGGT의 어텐션 가중치 A를 정규화하여 [입력값: VGGT 어텐션 맵 A → 연산: 최소값을 빼고 전체 범위로 나누는 정규화 수행 → 출력 의미: 0에서 1 사이의 중요도 점수 산출] 과정을 거친다. 이 값과 공간적 분산값을 결합한 우선순위 점수를 통해 객체 쿼리의 초기 위치를 결정한다. Query-Driven Feature Aggregation(QD)에서는 학습 가능한 See-Query가 MLP와 Softmax를 거쳐 [입력값: See-Query 토큰 q_see → 연산: 다층 퍼셉트론 통과 후 소프트맥스로 확률 분포 생성 → 출력 의미: 각 레이어 특징에 부여할 가중치 결정] 연산을 수행한다. 이 가중치를 각 레이어 특징에 곱해 가중합을 구함으로써 탐지에 최적화된 통합 기하 특징을 추출한다.

ScanNet 데이터셋에서 mAP@0.25 기준 46.9%를 기록하며 기존 SG-Free 설정의 최강자인 MVSDet(42.5%) 대비 4.4%p 높은 성능을 보였다. 특히 가구와 같은 주요 실내 객체 탐지에서 뚜렷한 개선이 확인됐다. ARKitScenes 데이터셋에서는 28.0%의 mAP를 달성하여 MVSDet(19.4%) 대비 8.6%p라는 큰 폭의 성능 향상을 이뤄냈다. 이는 복잡하고 다양한 실내 환경에서도 제안된 기법이 강건하게 작동함을 입증한다. 효율성 분석 결과 MVSDet 대비 메모리 사용량을 약 74% 절감하면서도 유사한 추론 속도를 유지했다. 이는 실제 모바일 기기나 로봇 시스템에 탑재하기에 훨씬 유리한 구조임을 시사한다.

VGGT의 사전 학습된 가중치를 동결하여 원래의 기하학적 추론 능력을 보존하면서 그 내부의 중간 표현을 직접 탐지 헤드와 연결하는 전략을 취한다. AG 모듈은 Farthest Point Sampling(FPS)의 한계를 극복하기 위해 어텐션 맵을 Semantic Prior로 활용한다. 이는 배경 노이즈를 줄이고 실제 객체 영역에 쿼리를 집중시키는 효과를 준다. QD 모듈은 트랜스포머 디코더의 각 레이어에서 See-Query와 객체 쿼리 간의 Self-Attention을 통해 상호작용한다. 이를 통해 각 객체 쿼리가 자신의 상태에 맞춰 필요한 해상도나 기하학적 깊이의 특징을 선택적으로 가져올 수 있게 한다.

VGGT 파이프라인 자체가 상당한 런타임 및 메모리 오버헤드를 발생시킨다는 점이 한계로 지적된다. 또한 VGGT가 정규화된 예측값을 생성하기 때문에 실제 물리적 스케일로 복원하기 위해 데이터셋의 통계치를 활용해야 하는 제약이 있다.