ESI-BENCH: 지각-동작 루프를 닫는 구현형 공간 지능 벤치마크

본 연구는 고정 관찰만으로는 해결하기 어려운 공간 지능 문제를 다루며, 에이전트가 필요에 따라 관찰을 선택하고 몸체를 활용해 정보를 적극적으로 수집하도록 요구한다. 3D grounding의 이점은 깊이-가시성 이슈가 해소될 때 크게 나타나지만, 불완전한 3D 재구성은 오히려 성능을 악화시킨다. 인간과 모델 간의 메타인식 차이를 밝히고, embodied 시스템의 안전성과 신뢰성 진단에 기여한다.

출발점: 공간 지능은 단순한 시각 인식이 아니라 관찰-행동 루프를 통해 숨겨진 물리적 특성을 추론하는 능력이다. 기존 벤치마크는 고정된 관찰에 의존해왔으나, 본 연구는 observer를 actor로 재구성하여 에이전트가 어떤 능력(지각/이동/조작)을 언제, 어떤 순서로 사용할지 결정하도록 만든다. 이로써 선택적 시각정보 획득, 정보의 유용성 평가, 그리고 관찰 간의 상호 작용이 성능에 결정적으로 작용함을 입증한다. 10개 카테고리, 29개 하위 카테고리, 3,081개의 태스크 인스턴스로 구성된 ESI-BENCH를 통해 깊이-가시성, 가시-비가시성, 도메인 간 일반화의 한계를 진단한다.

1. 핵심 아이디어: 학습된 모델이 스스로 어떤 관찰을 필요로 하는지 결정하고, 주변 환경과의 상호작용으로 정보의 질을 확보한다. 2) 보완 원리: Explicit 3D 표현은 깊이-차원의 관계를 보정하지만, 불완전한 재구성은 2D 기반 접근을 넘어서는 성능 저하를 야기한다. 3) 실험적 시사: 인간과 모델의 인식-추론 차이는 주로 메타인식(calibration) 능력에서 발생하며, 이는 단순한 시각 능력 강화로 해결되지 않는다.

단계 1) 벤치마크 구성: 3D 시뮬레이터 OmniGibson 위의 BEHAVIOR-1K 씬에서 각 태스크 인스턴스를 생성하고, S(씬), A(액션 공간), O(관찰), T(전이)로 환경을 모델링한다. 에이전트의 초기 포즈 p0 및 질문 q와 Ground-truth y*를 정의한다. Tmax=30으로 고정된 에피소드 길이에서 관찰 o_t를 받고 a_t를 선택해 y_hat를 도출한다. 2) Task construction: GPT-4o가 시나리오 그래프 기반으로 태스크에 필요한 물체를 선정하고 위치를 배치한 뒤 Ground-truth 경로를 제공한다. 인간 검증을 통해 정합성, 해답가능성, 비트리얼(non-triviality)을 확인한다. 3) 실험 설계: Passive Single-View, Passive Multi-View(30뷰), Active Exploration, Ground-Truth Passive의 네 가지 패러다임으로 모델을 평가하고, 2D+VLM(GPT-5, Gemini 3.1)과 3D-augmented(GVGT+Gemini, Ground-Truth 3D+Gemini), 인간 성능을 비교한다. 4) 3D 증강 분석: VGGT 기반 3D 재구성의 신뢰도에 따른 효과를 분석하고, 불안정성의 원인을 깊이 있게 고찰한다. 5) 단계 예산 분석: 5~50단계의 예산으로 Active Exploration의 성능 변화를 확인하고 30단계에서 포화하는 경향을 확인한다. 6) 인간 검증 및 편향 분석: GPT-4o 제안의 타당성을 인간이 검증하고, 질문-주제/메타데이터 단서에 의한 편향이 있는지 평가한다.

주요 벤치마크 결과는 능동 탐색의 이점이 뚜렷하나, 여전히 action selection과 epistemic calibration의 한계가 존재함을 보여준다. 예를 들어 Geometric Configuration에서 Ground-Truth 3D+Gemini는 70.8%를 달성한 반면 Gemini 3.1은 27.5%에 불과했다. Counting w Occlusion은 Ground-Truth 3D에서 33.3%를 달성했고, 3D 기반 증강이 불안정할 때는 0%에 가까워지기도 했다. 인간은 능동 탐색 하에서 모델보다 우수하며, Physical Contact에서 인간은 88.3%에 도달하는 반면 GPT-5는 64.2%에 머물렀고, Material Transparency에서는 인간 93.6%에 비해 Gemini 3.1은 52.3%에 그쳤다. Active Exploration 중 인간은 더 높은 뷰 다양성(예: 71.8%)과 대조적 보기(=contrastive views, 62.7%)를 확보하고 믿음 수정률( belief revision rate, 41.3%)이 더 높다(GPT-5: 39.2% / 28.7% / 16.4%). VGGT 기반 3D 증강의 실패 모드는 객체 중복(Counting, Merged Observation), 객체 환상(Enumerative Perception, Perceptual Grounding), 깊이-관계 손상(Spatial Relations, Metric Coordination)으로 요약된다. Step Budget Ablation에서 5–20단계에서 성능이 빠르게 상승하고 30단계에서 포화하며, 40단계를 넘기면 약간 감소한다. Human verification의 평균 점수는 Correctness 92.0%, Answerability 91.0%, Non-triviality 88.4%, Overall Pass 85.1%였다. 실험은 0-shot로 수행되었으며, 4가지 Paradigm 간 성능 차이는 관찰의 선택성과 증거의 효율성에 좌우된다.