생각하고, 행동하고, 구축하라: 제로샷 3D 비주얼 그라운딩을 위한 비전 언어 모델 기반 에이전트 프레임워크

기존 3D 객체 탐지는 미리 가공된 3D 점군 데이터가 필수적이었으나, 이 논문은 일반 RGB-D 영상 스트림만으로 실시간 3D 재구성과 탐지를 동시에 수행하는 에이전트 방식을 제시한다. 이는 로봇이 낯선 환경에서 별도의 3D 지도 없이도 자연어 명령만으로 물체를 찾아낼 수 있는 가능성을 열어준다.

기존의 3D 비주얼 그라운딩은 미리 스캔된 3D 포인트 클라우드에서 후보 물체를 뽑고 텍스트와 비교하는 방식이었다. 하지만 실제 환경에서는 미리 준비된 3D 지도가 없는 경우가 많다. 이 논문은 2D 비전 언어 모델(VLM)이 사물의 의미와 문맥을 파악하는 데는 뛰어나지만, 정밀한 3D 구조를 파악하는 데는 한계가 있다는 점에 주목했다.

TAB 프레임워크는 이 문제를 '역할 분담'으로 해결한다. 먼저 VLM 에이전트가 2D 영상에서 물체를 식별하고 추적하는 '생각'과 '행동' 단계를 수행한다. 이때 VLM이 시야각 변화나 가려짐 현상 때문에 물체를 놓치지 않도록, 수학적인 다중 뷰 기하학 원리를 도입하여 물체의 3D 위치를 고정(Anchor)하고 이를 다른 영상 프레임으로 확장한다.

결과적으로 에이전트는 여러 각도에서 얻은 2D 시각 정보를 3D 공간으로 다시 쌓아 올리는 '구축' 과정을 거친다. 이는 마치 사람이 물체를 찾을 때 고개를 돌려가며 여러 방향에서 확인한 정보를 머릿속에서 하나로 합쳐 입체적인 위치를 파악하는 과정과 유사하게 동작한다.

TAB은 3D-VG Skill이라는 마스터 실행 계획에 따라 4단계로 작동한다. 첫 번째는 쿼리 분석 단계로, 자연어 명령을 파싱하여 대상의 클래스, 속성, 공간적 조건을 구조화된 데이터로 변환한다. 이후 Grounding DINO와 같은 도구를 사용하여 대상이 포함된 후보 프레임을 필터링한다.

두 번째는 Semantic Temporal Expansion 단계다. 참조 프레임에서 VLM과 SAM을 이용해 대상 물체의 초기 마스크를 생성하고, 인접 프레임으로 이동하며 물체의 정체성이 유지되는지 VLM으로 검증하며 추적한다. 이 과정에서 획득한 2D 픽셀 좌표 $(u, v)$와 깊이 값 $D_t(u, v)$를 카메라 내부 행렬 $K$의 역행렬과 연산하여 로컬 3D 좌표 $P_c$를 얻고, 이를 다시 월드 좌표계 $P_w$로 변환하여 초기 3D 점군을 생성한다.

세 번째는 Geometric Multi-View Expansion 단계다. 초기 점군의 기하학적 중심점 $P_{centroid}$를 계산한 뒤, 이를 카메라 외부 행렬 $T$를 이용해 VLM이 미처 확인하지 못한 모든 영상 프레임에 다시 투영한다. 투영된 2D 좌표가 이미지 경계 내에 있고 깊이 값이 일치하면 해당 위치를 포인트 프롬프트로 사용하여 SAM으로 마스크를 자동 추출한다.

마지막으로 2D to 3D Reconstruction 단계에서는 수집된 모든 다중 뷰 마스크를 3D 공간으로 역투영한다. 이때 발생하는 센서 노이즈와 오차를 제거하기 위해 DBSCAN 클러스터링과 통계적 아웃라이어 제거 기법을 적용하며, 최종적으로 정제된 점군의 극값을 계산하여 물체의 3D Bounding Box를 산출한다.

ScanRefer 벤치마크 실험 결과, TAB은 Acc@0.25에서 71.2%, Acc@0.5에서 46.4%의 정확도를 기록했다. 이는 기존 제로샷 SOTA 모델인 SPAZER(57.2%)를 약 14%p 차이로 크게 앞지른 수치다. 특히 물체가 여러 개인 복잡한 시나리오(Multiple subset)에서 60.1%의 정확도를 보여 VLM의 정교한 추론 능력을 입증했다.

Nr3D 데이터셋에서도 전체 정확도 68.0%를 달성하며 새로운 제로샷 최고 성능을 기록했다. 이는 3D 포인트 클라우드 데이터를 직접 입력으로 사용하는 지도 학습 기반의 SceneVerse(64.9%)보다도 높은 성능이다. 3D 구조 정보가 주어지지 않은 상태에서 순수하게 영상 스트림만으로 이룬 결과라는 점에서 의미가 크다.

Ablation Study를 통해 핵심 모듈의 효과를 분석한 결과, 기하학적 확장(MGE) 모듈을 제거했을 때 ScanRefer의 Acc@0.5 성능이 46.4%에서 36.0%로 급감했다. 이는 VLM의 단순한 2D 추적만으로는 시야각 변화에 따른 데이터 누락을 극복하기 어려우며, 제안된 기하학적 투영 방식이 3D 재구성의 완성도를 높이는 데 필수적임을 보여준다.

TAB은 ReAct(Reasoning and Acting) 패러다임을 3D 공간으로 확장한 아키텍처를 가진다. VLM 에이전트는 3D-VG Skill이라는 마크다운 형식의 가이드라인을 읽고, 현재 관찰 결과에 따라 도구 라이브러리(Grounding DINO, SAM, Geometric Projection 등)를 동적으로 호출한다.

핵심 기술 차별점은 2D 시각 정보와 3D 기하학의 결합 방식에 있다. 단순히 2D 탐지 결과를 3D로 옮기는 것이 아니라, 3D 공간에서 계산된 중심점(Centroid)을 다시 2D 이미지 평면으로 투영하여 가려짐(Occlusion) 여부를 Z-buffer 체크로 검증한다. $z_{predict} \le z_{actual} + \epsilon$ 식을 통해 투영된 점이 실제 깊이 값보다 앞에 있는지 확인하여 물리적으로 관찰 가능한 프레임만 선별한다.

또한, 에이전트는 'Dynamic Adjustment' 전략을 통해 실행 중 오류를 스스로 수정한다. 예를 들어 특정 필터링 단계에서 후보 프레임이 0개가 되면 즉시 중단하는 대신, 임계값(Threshold)을 낮추어 재시도하거나 비임계 단계를 건너뛰는 방식으로 노이즈가 많은 실제 환경에서의 실행 안정성을 확보했다.

논문은 VLM이 시각적 검증 단계에서 '왼쪽/오른쪽'과 같은 절대적인 방향 지시어를 처리할 때 카메라 각도 변화에 따라 혼동을 일으킬 수 있다는 점을 한계로 언급했다. 또한 깊이 센서의 노이즈가 심하거나 물체가 완전히 가려진 경우 초기 3D 중심점 추출에 실패할 수 있는 가능성이 존재한다.