Think, Act, Build: 제로샷 3D 시각적 접지를 위한 비전 언어 모델 기반 에이전트 프레임워크

3D 시각적 접지(3D-VG)는 자연어 설명을 통해 3D 장면 내 물체를 식별하는 기술이지만, 기존 제로샷 방식은 정적인 포인트 클라우드 전처리에 의존하는 한계가 있었다. TAB(Think, Act, Build) 프레임워크는 2D 비전 언어 모델(VLM)의 공간 의미 해석 능력과 다중 뷰 기하학의 3D 구조 복원 능력을 결합하여 이 문제를 해결한다. VLM 에이전트가 RGB-D 스트림에서 물체를 추적하고, 'Semantic-Anchored Geometric Expansion' 메커니즘을 통해 관측되지 않은 프레임까지 위치 정보를 전파하여 3D 표현을 구축한다. 실험 결과 ScanRefer 및 Nr3D 벤치마크에서 기존 제로샷 모델은 물론 일부 지도 학습 기반 모델보다 우수한 성능을 기록했다.