HSG: 쌍곡선 장면 그래프

기존의 3D 장면 이해 기술은 유클리드 공간을 사용해 장소와 물체 사이의 계층적 포함 관계를 표현하는 데 한계가 있었습니다. 이 논문은 공간이 확장되는 성질을 가진 쌍곡선 기하학을 도입하여, 장소 안에 물체가 있다는 논리적 구조를 AI가 더 정확하게 학습하도록 만들어 로봇의 자율 주행 및 환경 인식 능력을 개선합니다.

기존의 딥러닝 모델들은 데이터를 주로 평평한 유클리드 공간(Euclidean space)에 점(Embedding)으로 표현한다. 하지만 현실 세계의 장소와 물체는 '거실 안에 소파가 있다'는 식의 명확한 계층적 포함 관계를 가지는데, 유클리드 공간은 모든 방향으로 공간이 일정하게 늘어나기 때문에 이러한 트리 구조의 데이터를 담기에 용량이 부족하거나 구조가 왜곡되는 문제가 발생한다.

쌍곡선 공간(Hyperbolic space)은 중심에서 멀어질수록 공간의 부피가 지수적으로 증가하는 특성을 가진다. 이는 나뭇가지가 뻗어 나가는 트리 구조와 기하학적으로 매우 유사하다. HSG는 이 점에 착안하여, 가장 추상적인 개념인 '장소'를 공간의 중심(원점) 근처에 배치하고, 구체적인 '물체'들을 원점에서 멀어지는 방향으로 배치함으로써 자연스러운 계층 구조를 형성한다.

결과적으로 모델은 단순한 시각적 유사성을 넘어, 기하학적 거리를 통해 '어떤 장소에 어떤 물체가 속해 있는지'를 더 명확하게 구분할 수 있게 된다. 이는 데이터의 차원을 높이지 않고도 복잡한 환경 정보를 더 효율적이고 정확하게 압축하여 표현할 수 있음을 의미한다.

전체 아키텍처는 DINOv2 백본과 Transformer 디코더를 사용하여 이미지에서 장소 및 물체 특징을 추출한 뒤, 이를 쌍곡선 공간으로 투영하는 구조이다. 유클리드 공간의 출력 벡터 v_dec를 로렌츠 하이퍼볼로이드(Lorentz hyperboloid) 상의 점 x로 변환하기 위해 지수 맵(Exponential map)을 사용한다. 구체적으로 v_dec를 탄젠트 공간의 벡터로 간주하고, 하이퍼볼릭 함수(sinh, cosh)를 이용한 연산을 통해 곡률 -c를 가진 매니폴드 표면으로 매핑한다.

핵심 메커니즘인 Hyperbolic Entailment Loss는 장소 임베딩 q와 물체 임베딩 p 사이의 포함 관계를 계산한다. 장소 q를 정점으로 하는 원뿔의 각도(aperture) ω(q)를 sin⁻¹(2K / (√κ||q||))로 계산한다. 여기서 분모의 ||q||는 원점으로부터의 거리이며, 거리가 멀어질수록(구체적일수록) 원뿔의 각도가 좁아지도록 설계되었다. 물체 p와 장소 q 사이의 외부각 φ(p, q)가 이 원뿔 각도보다 작을 때만 손실값을 0으로 처리하여, 물체가 장소의 논리적 영역 안에 위치하도록 학습시킨다.

학습 시에는 곡률 c를 고정하지 않고 learnable parameter로 설정하여 데이터에 최적화된 공간의 휘어짐 정도를 스스로 찾도록 했다. 최종적으로 학습된 임베딩은 다시 로그 맵(Logarithmic map)을 통해 탄젠트 공간으로 역투영되어 기존의 MSG 그래프 구축 파이프라인과 호환되도록 처리된다.

메인 실험 결과, HSG는 DINOv2-Base 백본 환경에서 PP IoU(장소 연결성) 33.17, Graph IoU(전체 그래프 정렬도) 33.51을 달성했다. 이는 기존 유클리드 기반 SOTA 모델인 AoMSG-4의 Graph IoU 21.32 대비 약 12포인트 이상 높은 수치이며, 가장 강력한 베이스라인인 SepMSG-Direct(33.67)와 대등한 수준의 성능을 보이면서도 더 정교한 계층 구조를 형성했다.

Ablation Study를 통해 Entailment Loss의 효과를 검증한 결과, 해당 손실 함수가 없을 때보다 있을 때 PO IoU(장소-물체 연관성)가 44.9에서 45.5로 개선되어 계층적 제약 조건이 실제 객체 정렬에 기여함을 확인했다. 또한 곡률 초기값(curv_init)을 80으로 설정했을 때 검색 성능(Recall@1)과 구조적 지표가 최적의 균형을 이루는 것으로 나타났다.

시각화 분석(Figure 5)에서는 유클리드 모델들이 장소와 물체의 거리를 구분하지 못하고 섞여 있는 것과 달리, HSG는 장소 노드들이 원점(Root)에 더 가깝게 군집화되고 물체 노드들이 바깥쪽에 위치하는 명확한 분리 현상을 보여주어 이론적인 계층 구조가 실제 임베딩 공간에 구현되었음을 입증했다.

HSG 아키텍처는 유클리드 공간의 L2 정규화 및 코사인 유사도 기반 학습을 로렌츠 매니폴드 상의 음의 로렌츠 거리(Negative Lorentzian distance) 기반 학습으로 대체했다. 로렌츠 거리 d_L(x, y)는 arcosh(-c⟨x, y⟩_L) / √c로 정의되며, 이는 유클리드 거리와 달리 계층적 깊이에 따라 지수적으로 증가하는 용량을 제공하여 의미적 거리가 먼 개념들을 더 강력하게 차별화한다.

구현 측면에서 수치적 안정성을 확보하기 위해 탄젠트 노름(tangent norm)을 r_max로 클리핑하여 하이퍼볼릭 함수의 폭발을 방지했다. 또한 arcosh 함수의 입력값이 floating-point 오차로 인해 1보다 작아지는 것을 막기 위해 1 + ε로 클램핑하는 기법을 적용했다. 이러한 세부 처리는 쌍곡선 딥러닝 모델의 학습 불안정성 문제를 해결하는 핵심 요소이다.

기존 MSG(Multiview Scene Graph) 파이프라인과의 통합을 위해, 쌍곡선 공간에서 학습된 특징들을 로그 맵을 통해 유클리드 탄젠트 공간으로 변환한 뒤 메시지 패싱(Message Passing)을 수행한다. 이는 쌍곡선 기하학의 구조적 이점을 취하면서도 기존 그래프 신경망(GNN)의 연산 효율성을 유지할 수 있게 한다.

현재 HSG는 단일한 곡률 값을 사용하고 있어, 환경의 복잡도가 위치마다 다른 비균일한 기하학적 구조를 완벽하게 수용하기 어렵다. 또한 전체 성능이 하부의 시각적 인코더(DINOv2 등)의 품질에 크게 의존한다는 한계가 있다.