하이퍼볼릭 비전-언어 모델에서 부분-전체 시맨틱 대표성을 활용한 불확실성 가이드 구성적 정렬

기존 AI 모델은 이미지 속 개별 물체와 전체 장면 사이의 계층적 관계를 파악하는 데 한계가 있었다. 이 논문은 하이퍼볼릭 기하학을 도입하여 '어떤 부분이 장면을 더 잘 대표하는지'를 불확실성으로 계산함으로써, 복잡한 다중 객체 환경에서도 이미지의 구성 요소를 훨씬 더 정확하게 이해할 수 있게 한다.

기존 CLIP과 같은 모델은 평평한 유클리드 공간에서 이미지와 텍스트를 매칭한다. 하지만 현실의 데이터는 '바퀴는 자동차의 일부'와 같은 계층 구조를 가지며, 유클리드 공간은 이러한 구조를 표현할 때 차원이 늘어날수록 왜곡이 심해지는 한계가 있다. 이는 복잡한 다중 객체 장면에서 모델이 각 요소의 중요도를 혼동하게 만드는 원인이 된다.

UNCHA는 음의 곡률을 가져 원점에서 멀어질수록 부피가 기하급수적으로 커지는 하이퍼볼릭 공간을 사용한다. 이 공간의 반지름을 '불확실성'으로 해석하여, 장면을 잘 대표하는 핵심 요소는 원점 근처(낮은 불확실성)에, 지엽적인 부분은 바깥쪽(높은 불확실성)에 배치한다. 이를 통해 모델은 이미지 내의 어떤 요소가 전체 맥락에서 중요한지 스스로 판단하는 능력을 갖추게 된다.

결과적으로 모델은 단순히 이미지와 단어를 일대일로 맞추는 수준을 넘어, 이미지 내부의 구성적 관계를 파악한다. 이는 복잡한 배경 속에서도 주요 객체를 정확히 식별하고, 부분적인 정보만으로도 전체 장면의 의미를 유추할 수 있는 강력한 시각적 이해력을 제공한다.

하이퍼볼릭 공간(Lorentz 모델)을 기반으로 이미지와 텍스트의 계층 구조를 임베딩한다. 원점에서의 측지선 거리를 사용하여 불확실성 u(x) = log(1 + exp(-||x||₂))를 정의한다. [유클리드 노름 ||x||₂를 입력으로] → [지수 함수와 로그 연산을 수행해] → [0과 log 2 사이의 값을 얻고] → [이 값이 작을수록 원점에서 멀어 대표성이 낮은 구체적 부분임을 의미한다].

불확실성 가이드 대조 학습 손실(L_con_un)을 도입한다. 각 샘플의 불확실성에 따라 온도 파라미터 τ를 exp(u/2)τ_gl로 스케일링한다. [추정된 불확실성 u를 입력으로] → [지수 함수를 통해 온도를 높이는 연산을 수행해] → [불확실성이 높은 샘플의 손실 기여도를 낮추고] → [대표성이 낮은 부분이 전체 정렬을 방해하지 않도록 조절한다].

불확실성 보정 손실(L_ent_cal)을 통해 임베딩 분포를 안정화한다. Piecewise-continuous entailment loss에 엔트로피 정규화 항 H(ũ)를 추가한다. [불확실성 분포 ũ를 입력으로] → [-Σ ũ log ũ를 계산하여] → [분포의 다양성을 극대화하는 숫자를 얻고] → [임베딩이 특정 영역으로 뭉치는 붕괴 현상을 방지하여 공간 활용도를 높인다].

ImageNet을 포함한 16개 제로샷 분류 벤치마크에서 기존 하이퍼볼릭 모델인 HyCoCLIP, MERU 등을 제치고 SOTA를 달성했다. ViT-B/16 아키텍처 기준 ImageNet에서 48.8%의 정확도를 기록하며 강력한 일반화 성능을 입증했다.

복잡한 다중 객체 장면 이해를 평가하는 ComCo 및 SimCo 데이터셋에서 mAP 성능이 크게 향상되었다. 특히 객체가 5개인 어려운 설정에서도 기존 모델 대비 높은 정확도를 유지하며 구성적 이해(compositional understanding) 능력이 뛰어남을 증명했다.

Ablation study 결과, 불확실성 가이드와 엔트로피 정규화가 모두 성능 향상에 필수적임이 확인되었다. 불확실성 보정이 없을 경우 임베딩이 좁은 영역에 집중되어 표현력이 저하되는 현상이 관찰되었으며, 제안된 기법이 하이퍼볼릭 공간을 더 넓고 효율적으로 사용하게 함이 확인됐다.

Lorentz 모델 Lⁿ을 채택하여 일정한 음의 곡률 -κ를 가진 공간에서 학습을 진행한다. 임베딩 벡터 p는 시간 성분 p_time과 공간 성분 p_space로 구성되며, Lorentzian inner product 제약 조건을 만족하도록 설계되었다.

하이퍼볼릭 반지름을 불확실성의 프록시(proxy)로 사용한다. 원점 근처의 추상적 개념은 높은 불확실성을, 원점에서 먼 구체적 객체는 낮은 불확실성을 가지도록 설계하여 계층적 함의(entailment) 관계를 기하학적으로 강제한다.

대조 학습 시 Global-Local 정렬을 수행한다. 전체 이미지와 부분 텍스트, 전체 텍스트와 부분 이미지를 각각 매칭하며, 이때 불확실성에 기반한 적응형 온도 조절을 통해 노이즈가 섞인 부분 정렬이 전체 학습에 미치는 악영향을 최소화한다.

수치적 안정성을 위해 유클리드 노름을 하이퍼볼릭 반지름의 근사치로 활용한다. 이는 작은 노름에서는 선형적으로, 큰 노름에서는 로그 함수적으로 반지름이 증가하는 특성을 반영하여 계산 효율성을 높이면서도 하이퍼볼릭 공간의 특성을 유지한다.