생각하고, 행동하고, 구축하라: 제로샷 3D 비주얼 그라운딩을 위한 비전 언어 모델 기반 에이전트 프레임워크

기존 3D 객체 탐지는 미리 가공된 3D 점군 데이터가 필수적이었으나, 이 논문은 일반 RGB-D 영상 스트림만으로 실시간 3D 재구성과 탐지를 동시에 수행하는 에이전트 방식을 제시한다. 이는 로봇이 낯선 환경에서 별도의 3D 지도 없이도 자연어 명령만으로 물체를 찾아낼 수 있는 가능성을 열어준다.

왜 중요한가

핵심 기여

TAB 에이전트 프레임워크 제안

3D 비주얼 그라운딩을 정적인 매칭 작업이 아닌 '생각(Think)-행동(Act)-구축(Build)'의 동적 에이전트 프로세스로 재정의하여 원본 RGB-D 스트림에서 직접 작동하도록 설계했다.

Semantic-Anchored Geometric Expansion (SAGE) 도입

VLM의 시각적 추적 한계를 극복하기 위해 3D 기하학적 중심점을 추출하고 이를 다른 프레임에 역투영하여 물체의 마스크를 자동으로 확장하는 메커니즘을 개발했다.

3D-VG 벤치마크 데이터셋 정제

ScanRefer 및 Nr3D 데이터셋의 모호한 참조와 카테고리 오류를 수동으로 수정하여 제로샷 모델의 성능을 보다 정확하게 평가할 수 있는 환경을 구축했다.

제로샷 SOTA 성능 달성

오픈소스 모델만 사용했음에도 불구하고 기존 제로샷 방법론을 크게 압도했으며, 일부 지표에서는 3D 데이터를 직접 학습한 지도 학습 모델의 성능을 추월했다.

핵심 아이디어 이해하기

기존의 3D 비주얼 그라운딩은 미리 스캔된 3D 포인트 클라우드에서 후보 물체를 뽑고 텍스트와 비교하는 방식이었다. 하지만 실제 환경에서는 미리 준비된 3D 지도가 없는 경우가 많다. 이 논문은 2D 비전 언어 모델(VLM)이 사물의 의미와 문맥을 파악하는 데는 뛰어나지만, 정밀한 3D 구조를 파악하는 데는 한계가 있다는 점에 주목했다.

TAB 프레임워크는 이 문제를 '역할 분담'으로 해결한다. 먼저 VLM 에이전트가 2D 영상에서 물체를 식별하고 추적하는 '생각'과 '행동' 단계를 수행한다. 이때 VLM이 시야각 변화나 가려짐 현상 때문에 물체를 놓치지 않도록, 수학적인 다중 뷰 기하학 원리를 도입하여 물체의 3D 위치를 고정(Anchor)하고 이를 다른 영상 프레임으로 확장한다.

결과적으로 에이전트는 여러 각도에서 얻은 2D 시각 정보를 3D 공간으로 다시 쌓아 올리는 '구축' 과정을 거친다. 이는 마치 사람이 물체를 찾을 때 고개를 돌려가며 여러 방향에서 확인한 정보를 머릿속에서 하나로 합쳐 입체적인 위치를 파악하는 과정과 유사하게 동작한다.

방법론

TAB은 3D-VG Skill이라는 마스터 실행 계획에 따라 4단계로 작동한다. 첫 번째는 쿼리 분석 단계로, 자연어 명령을 파싱하여 대상의 클래스, 속성, 공간적 조건을 구조화된 데이터로 변환한다. 이후 Grounding DINO와 같은 도구를 사용하여 대상이 포함된 후보 프레임을 필터링한다.

두 번째는 Semantic Temporal Expansion 단계다. 참조 프레임에서 VLM과 SAM을 이용해 대상 물체의 초기 마스크를 생성하고, 인접 프레임으로 이동하며 물체의 정체성이 유지되는지 VLM으로 검증하며 추적한다. 이 과정에서 획득한 2D 픽셀 좌표 $(u, v)$ 와 깊이 값 $D_t(u, v)$ 를 카메라 내부 행렬 $K$ 의 역행렬과 연산하여 로컬 3D 좌표 $P_c$ 를 얻고, 이를 다시 월드 좌표계 $P_w$ 로 변환하여 초기 3D 점군을 생성한다.

세 번째는 Geometric Multi-View Expansion 단계다. 초기 점군의 기하학적 중심점 $P_{centroid}$ 를 계산한 뒤, 이를 카메라 외부 행렬 $T$ 를 이용해 VLM이 미처 확인하지 못한 모든 영상 프레임에 다시 투영한다. 투영된 2D 좌표가 이미지 경계 내에 있고 깊이 값이 일치하면 해당 위치를 포인트 프롬프트로 사용하여 SAM으로 마스크를 자동 추출한다.

마지막으로 2D to 3D Reconstruction 단계에서는 수집된 모든 다중 뷰 마스크를 3D 공간으로 역투영한다. 이때 발생하는 센서 노이즈와 오차를 제거하기 위해 DBSCAN 클러스터링과 통계적 아웃라이어 제거 기법을 적용하며, 최종적으로 정제된 점군의 극값을 계산하여 물체의 3D Bounding Box를 산출한다.

주요 결과

ScanRefer 벤치마크 실험 결과, TAB은 [email protected]에서 71.2%, [email protected]에서 46.4%의 정확도를 기록했다. 이는 기존 제로샷 SOTA 모델인 SPAZER(57.2%)를 약 14%p 차이로 크게 앞지른 수치다. 특히 물체가 여러 개인 복잡한 시나리오(Multiple subset)에서 60.1%의 정확도를 보여 VLM의 정교한 추론 능력을 입증했다.

Nr3D 데이터셋에서도 전체 정확도 68.0%를 달성하며 새로운 제로샷 최고 성능을 기록했다. 이는 3D 포인트 클라우드 데이터를 직접 입력으로 사용하는 지도 학습 기반의 SceneVerse(64.9%)보다도 높은 성능이다. 3D 구조 정보가 주어지지 않은 상태에서 순수하게 영상 스트림만으로 이룬 결과라는 점에서 의미가 크다.

Ablation Study를 통해 핵심 모듈의 효과를 분석한 결과, 기하학적 확장(MGE) 모듈을 제거했을 때 ScanRefer의 [email protected] 성능이 46.4%에서 36.0%로 급감했다. 이는 VLM의 단순한 2D 추적만으로는 시야각 변화에 따른 데이터 누락을 극복하기 어려우며, 제안된 기하학적 투영 방식이 3D 재구성의 완성도를 높이는 데 필수적임을 보여준다.

기술 상세

TAB은 ReAct(Reasoning and Acting) 패러다임을 3D 공간으로 확장한 아키텍처를 가진다. VLM 에이전트는 3D-VG Skill이라는 마크다운 형식의 가이드라인을 읽고, 현재 관찰 결과에 따라 도구 라이브러리(Grounding DINO, SAM, Geometric Projection 등)를 동적으로 호출한다.

핵심 기술 차별점은 2D 시각 정보와 3D 기하학의 결합 방식에 있다. 단순히 2D 탐지 결과를 3D로 옮기는 것이 아니라, 3D 공간에서 계산된 중심점(Centroid)을 다시 2D 이미지 평면으로 투영하여 가려짐(Occlusion) 여부를 Z-buffer 체크로 검증한다. $z_{predict} \le z_{actual} + \epsilon$ 식을 통해 투영된 점이 실제 깊이 값보다 앞에 있는지 확인하여 물리적으로 관찰 가능한 프레임만 선별한다.

또한, 에이전트는 'Dynamic Adjustment' 전략을 통해 실행 중 오류를 스스로 수정한다. 예를 들어 특정 필터링 단계에서 후보 프레임이 0개가 되면 즉시 중단하는 대신, 임계값(Threshold)을 낮추어 재시도하거나 비임계 단계를 건너뛰는 방식으로 노이즈가 많은 실제 환경에서의 실행 안정성을 확보했다.

한계점

논문은 VLM이 시각적 검증 단계에서 '왼쪽/오른쪽'과 같은 절대적인 방향 지시어를 처리할 때 카메라 각도 변화에 따라 혼동을 일으킬 수 있다는 점을 한계로 언급했다. 또한 깊이 센서의 노이즈가 심하거나 물체가 완전히 가려진 경우 초기 3D 중심점 추출에 실패할 수 있는 가능성이 존재한다.

실무 활용

미리 스캔된 3D 지도가 없는 실제 환경에서 로봇이 자연어 명령만으로 물체를 찾아야 하는 서비스 로봇 및 자율 주행 분야에 즉시 적용 가능하다.

가정용 서비스 로봇이 '거실 탁자 위에 있는 검은색 리모컨'을 찾아 가져오는 작업
AR/VR 기기 사용자가 현실 공간에서 특정 사물을 지칭할 때 실시간으로 3D 위치를 특정하는 인터페이스
재난 현장에서 로봇이 카메라 영상만으로 특정 구조 대상물이나 위험물을 식별하고 위치를 파악하는 시나리오

코드 공개 여부: 공개

코드 저장소 보기

키워드

3D Visual Grounding(3D 비주얼 그라운딩)Zero-Shot Learning(제로샷 학습)VLM(비전 언어 모델)RGB-D(RGB-D 스트림)Multi-view Geometry(다중 뷰 기하학)

용어 해설

3D 비주얼 그라운딩(3D Visual Grounding): — 자연어 설명을 기반으로 3D 장면 내에서 특정 물체의 위치를 정확히 찾아내는 기술이다. 텍스트의 의미적 이해와 3D 공간의 기하학적 구조를 결합해야 하므로 로봇 공학 및 증강 현실 분야에서 핵심적인 역할을 한다.
제로샷 학습(Zero-Shot Learning): — 모델이 학습 과정에서 한 번도 본 적 없는 범주나 데이터에 대해 추가적인 학습 없이 추론을 수행하는 기법이다. 사전 학습된 거대 모델의 범용 지식을 활용하여 새로운 환경이나 물체에 즉각 대응할 수 있게 한다.
RGB-D 스트림(RGB-D): — 일반적인 컬러 이미지(RGB)에 각 픽셀의 거리 정보인 깊이(Depth) 데이터가 결합된 영상 데이터 형식이다. 2D 이미지의 시각 정보와 3D 공간의 거리 정보를 동시에 제공하여 정밀한 3D 재구성을 가능하게 한다.
다중 뷰 기하학(Multi-view Geometry): — 서로 다른 위치에서 촬영된 여러 장의 2D 이미지들 사이의 기하학적 관계를 이용하여 3D 구조를 복원하는 수학적 원리이다. 카메라의 위치와 각도 파라미터를 통해 2D 픽셀을 3D 좌표로 변환하는 핵심 기반이 된다.

생각하고, 행동하고, 구축하라: 제로샷 3D 비주얼 그라운딩을 위한 비전 언어 모델 기반 에이전트 프레임워크

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드