GST-Bench: 비디오 기반 글로벌 공간 인식 벤치

현실 세계에서 작동하는 로봇·에이전트는 에고센트릭 관찰을 시간에 걸쳐 통합하고 보이지 않는 대상을 전역 좌표계로 매핑하는 능력이 필요합니다. 기존 벤치마크는 보통 단일 프레임이나 소수 뷰에 초점을 맞춰 장기적 교차-뷰 통합 능력을 충분히 검증하지 못했습니다. GST-Bench는 길게 이어지는 탐색 비디오, 오프-트랙 쿼리 뷰, 탑다운 지도를 결합해 모델이 실제로 전역 공간 표현을 구축하는지를 정량적으로 평가하도록 설계되어 연구자와 개발자가 해당 약점을 직접 겨냥해 개선할 수 있게 만듭니다.

에고센트릭 시퀀스만으로는 장면 전체의 전역 구조와 보이지 않는 대상의 위치를 일관되게 복원하기 어렵기 때문에, 모델은 긴 비디오 스트림을 통해 국소 관찰을 누적하고 이를 탑다운 좌표계로 정렬하는 능력이 필요합니다. GST-Bench는 쿼리 뷰를 탐색 궤적 밖에서 샘플링하고 대상이 쿼리에서 보이지 않도록 강제해 단일 프레임 해법을 차단합니다. 따라서 평가 결과는 단순한 물체 인식 성능이 아니라 입력 비디오를 어떻게 통합해 전역 지도와 정합시키는지를 직접적으로 측정합니다.

데이터 생성 파이프라인은 OmniGibson 기반 시뮬레이션 위에서 BEHAVIOR-1K·HyperSim·ArtVIP 등 에셋을 활용해 다수의 장면에서 탐색 궤적과 추가 궤적을 렌더링합니다. 파이프라인은 탐색 비디오, 객체 주석 비디오(대상 등장 프레임에 빨간 박스 오버레이), 오프-트랙 쿼리 뷰, 세 수준 탑다운 이미지를 생성하고 기하학적 정보를 통해 거리·각도·포인트 정답을 자동 계산합니다. 자동 필터링으로 불완전·모호 샘플을 제거한 뒤 인간 검증자가 대상 식별 가능성 및 쿼리뷰의 로컬라이즈 가능성을 확인해 최종 2,762개의 평가 샘플을 확보합니다.

22개 VLM을 제로샷으로 평가한 결과 전반적 난이도가 높아 최고 모델인 Gemini-3-Pro의 평균 점수는 42.68에 불과했고 인간 평균은 79.08로 큰 격차가 관찰되었습니다. 오픈소스 상위 모델들도 대부분 20~30점 대에 머물렀고 무작위 추측(약 20.01)과 근접한 모델이 다수였습니다. 통제 실험에서 상용 모델은 로컬 보기가 허용되면 점수가 대폭 상승해 실패 원인이 교차-프레임 통합임을 시사했고, Qwen3-VL-8B를 GST-Train으로 파인튜닝하면 25.89→53.52로 27.63포인트 개선되어 지도학습의 유효성이 입증되었습니다.

거리 예측 평가는 Mean Relative Accuracy(MRA)를 사용하며 수식은 $\mathcal{MRA}=\frac{1}{|\mathcal{C}_d|}\sum_{\theta\in\mathcal{C}_d}\mathbbm{1}\left(\frac{|\hat{y}-y|}{y}<1-\theta\right)$입니다. 여기서 $\hat{y}$는 모델 예측 거리, $y$는 정답 거리, $\mathcal{C}_d$는 임계값 집합(0.50~0.95)이며 입력은 예측→상대오차 계산→임계비교→임계별 지표 평균의 순서로 처리됩니다. 각도 평가는 원형 거리 $e_a=\min(|\hat{\alpha}-\alpha|,360^{\circ}-|\hat{\alpha}-\alpha|)$를 구한 뒤 허용 오차 집합 $\{15^{\circ},30^{\circ},45^{\circ}\}$에 대한 평균 정확도로 계산하고, 포인트 평가는 픽셀 유클리드 거리 기준 임계값 집합(100,150,200,250,300)에서 평균 정확도를 산출합니다. 최종 점수는 12개 소과제 점수의 산술평균으로 집계됩니다.

GST-Bench는 시뮬레이션 기반으로 대규모 자동 생성과 정밀한 기하학적 정답 산출이 가능하지만, 합성 렌더링과 실제 센서 관측 간 도메인 차이가 존재할 수 있습니다. 저자들은 평가·학습 분할에서 장면 누수를 방지했으나 시뮬레이션-실세계 일반화 문제는 여전히 남아 있습니다. 또한 GST-Train으로 성능을 크게 향상시킬 수 있으나 인간 수준의 전역 통합 능력까지 완전히 회복되지는 않아 추가적인 모델 아키텍처·학습 전략 연구가 필요합니다.