PanoWorld: 360° 파노라마 세계에서의 공간 슈퍼센싱을 향하여

현행 MLLMs은 perspective 이미지 기반으로 공간 이해가 제한된다. 360° 파노라마는 전체 환경을 한 번에 인식하게 해 공간 추론의 잠재력을 높이지만, ERP를 구면 좌표로 직접 다루기보다 2D 투영에 의존하는 것이 일반적이다. 본 연구는 ERP 파노라마를 관찰자 중심의 연속 공간으로 다루는 pano-native 이해를 제시하고, 이를 통해 통합적인 공간 추론 능력을 강화한다. 이로써 인간 중심 시나리오뿐 아니라 탐색, 내비게이션 등 다수의 360° 어플리케이션에 대한 성능 및 효율성을 높인다.

출발점: ERP 파노라마는 구면 좌표계의 연속 공간으로 다루어야 하며, 시점 변화에 따른 각도 관계를 직관적으로 유지해야 한다. 전제 한계: perspective 이미지 기반 방법은 wrap-around과 시점 의존성을 충분히 모델링하지 못한다. 본 논문은 네 가지 핵심 능력(semantic anchoring, spherical grounding, reference-frame transformation, depth-aware 3D spatial reasoning)을 정의하고, 메타데이터 파이프라인과 SSCA 아키텍처를 통해 ERP 파노라마를 직접 다루는 학습 체계를 제안한다. 결과적으로 ERP-native 입력에서의 추론이 360° 공간 이해에 필요한 구성 요소를 모두 충족하고, 360° 화면 기반 벤치마크에서 기존 방법보다 강력한 성능을 보인다. 마지막으로, PanoSpace-Bench를 통해 제시한 능력군이 실제 응용(비전-언어 내비게이션, 인간 중심 시각 검색)으로의 확장을 뒷받침한다.

단계1: 지오메트리 preliminaries 및 작업 설정에서 ERP를 yaw/ pitch로 표현하고, panorama를 observer-centered 공간으로 정의한다. 단계2: capablity taxonomy를 제시하고, 이를 기반으로 geometry-aware supervision 신호를 구성하는 메타데이터 파이프라인을 설계한다. 단계3: Patch embedding 이후 spherical tokens를 생성하는 SSCA를 도입하고, visual tokens ↔ spherical tokens 간 cross-attention으로 지오메트릭 정보를 주입한다. 단계4: PANO-native instruction corpus를 기반으로 Qwen3.5-VL 백본에 대해 파노-native 모델 학습을 수행한다. 단계5: PanoSpace-Bench를 통해 카테고리별 능력을 평가하고, H∗Bench 및 R2R-CE로의 전이를 검증한다. 수식/수학적 원리: si = MLP(γ(λi, ϕi))로 구면 위치를 임베딩하고, A = MHA(Q=LN(H(0)), K=LN(S), V=LN(S))로 cross-attention을 수행한 뒤, He(0) = H(0) + α ⊙ A로 토큰을 갱신한다. 학습 설정: 기본 백본은 Qwen3.5-VL이며, pano-native instruction corpus로 미세조정한다. 8 GPU A100에서 AdamW, 학습률 1e-6, 글로벌 배치 2, 그라디언트 누적 4, 1 epoch.

주요 벤치마크에서 제안된 PanoWorld는 기존 기법 대비 현저한 성능 향상을 보였다. PanoSpace-Bench에서 PanoWorld의 Overall 성능은 56.5로 제시되며, 0-shot에서의 H∗Bench 전체 성능은 56.1, H∗ SFT 적용 시 70.1로 상승한다. HOS/HPS 전이에서도 우수한 성능을 보였으며(R2R-CE Val-Unseen에서 4.98 NE, 59.3 OSR, 54.3 SR, 52.1 SPL), VLN 전이에서도 RGB-only 모델 대비 경쟁력을 확인했다. 4.3 Ablation에서 데이터 능력 모듈의 조합이 성능 향상에 기여함이 확인되었고, SSCA가 초기 삽입 위치에서 가장 효과적임이 확인되었다. 훈련 범위를 확장한 Full pano-native FT 설정이 대부분의 지표에서 최상위를 차지했다.

아키텍처: Patch embedding 후 Spherical Spatial Cross-Attention(SSCA) 도입. 구면 토큰 s_i = MLP(γ(λ_i, ϕ_i))를 통해 ERP 픽셀의 구면 방향을 임베딩하고, cross-attention Q=LN(H(0)), K=LN(S), V=LN(S)로 시각 토큰과 구면 토큰 간 정보를 교환한다. 업데이트는 H_e^(0) = H(0) + α ⊙ A로 수행되어, 초기 비전 백본은 불변으로 남는다. 데이터 supervision: 4가지 능력군(semantic anchoring, spherical grounding, reference-frame transformation, depth-aware 3D relation)을 기반으로 ERP-그래프 G = (V, E)에서 노드 vi=(si, ai, bi, di, ci), 간선 e_ij=(Δθ_ij, Δφ_ij, Δd_ij, r^2D_ij, r^3D_ij)로 표현되는 메타데이터 그래프를 구축한다. 학습 데이터: ERP-native instruction corpus를 제조, 7.65M 후보 샘플에서 canonical set 2.998M 샘플을 샘플링. verification 모듈: Detection Verificiation(기하학적 안정성)과 Semantic Verificiation(언어-지역 간 일치성)을 통해 데이터 품질을 보장한다. 학습 데이터의 구성은 Ability family별로 Semantic Anchoring, Angular Grounding, Reference-frame Transformation, Depth-aware 3D Relation 등으로 나뉘며, 모든 모듈의 결합이 최종 성능 향상에 기여한다.

메타데이터 파이프라인은 오픈-월드 탐지, MLLM 기반 주석, referential re-detection 및 파노라마 깊이 추정에 의존하므로, 이들 구성 요소의 오류가 최종 메타데이터 그래프에 영향을 줄 수 있다. PanoSpace-Bench은 고정된 ERP-추론 능력을 진단하는 벤치마크로, 동적 장면/상호작용 탐지 등은 포함하지 않는다.