이방성 모달리티 정렬: 멀티모달 모델 학습의 새로운 기하학적 관점

멀티모달 모델 학습 시 고품질의 쌍(paired) 데이터를 확보하는 비용 문제를 해결하기 위해 단일 모달리티 데이터만으로 학습하는 새로운 패러다임을 제시한다. 모달리티 간의 간극(Modality Gap)을 단순한 위치 차이가 아닌 특정 방향으로 쏠린 기하학적 구조로 정의하여 정밀한 정렬을 가능하게 한다.

멀티모달 대조 학습으로 생성된 임베딩 공간에서 이미지와 텍스트는 서로 멀리 떨어져 있는 것처럼 보이지만, 사실 두 데이터의 분포를 결정하는 핵심적인 뼈대(Principal Subspace)는 매우 유사하다. 기존에는 이 간극을 단순히 평균값의 차이(Centroid Shift)로 보고 전체를 이동시키려 했으나, 이는 데이터 고유의 의미 관계를 훼손하는 문제를 낳았다.

이 논문은 간극의 실체가 모든 방향으로 균일하게 퍼진 노이즈가 아니라, 특정 몇몇 방향으로만 강하게 쏠려 있는 '이방성 잔차'임을 발견했다. 이는 마치 두 지도가 전체적으로는 일치하지만 특정 구역만 한쪽 방향으로 밀려 있는 것과 같다. 따라서 전체를 옮기는 대신, 문제가 되는 특정 방향의 잔차만 골라내어 수정하는 것이 핵심이다.

AnisoAlign은 이를 위해 공간을 지배적 부분 공간과 그 외 공간으로 분리하고, 지배적 공간 내에서 각 데이터를 반지름과 위도(Phase)로 변환하여 처리한다. 대상 모달리티가 가진 고유의 위도 통계를 미리 학습한 뒤, 소스 데이터를 이 통계에 맞게 미세하게 조정함으로써 의미는 유지하면서도 분포의 위치만 정확히 일치시킨다.

전체 프로세스는 고정 프레임 부분 공간 분해(Fixed-Frame Subspace Decomposition)에서 시작한다. 이미지와 텍스트의 공통 공분산 행렬 Σ = Σt + Σi + λI를 계산하고, 여기서 상위 r개의 고유 벡터를 추출하여 지배적 부분 공간 U를 정의한다. [두 모달리티의 공분산 합을 입력으로] → [고유값 분해 연산을 수행해] → [상위 r개의 기축을 얻고] → [이 기축들이 두 모달리티가 공유하는 핵심 의미 공간임을 정의한다.]

1단계에서는 대상 모달리티(이미지)의 주기적 위도 사전 지식(Periodic Phase Prior)을 학습한다. 부분 공간 U 내의 좌표를 2차원 블록 단위의 극좌표(반지름 ρ, 위상 θ)로 변환한 뒤, 이미지 데이터들 사이의 위상 상관관계와 분포를 스코어 기반 모델 sφ로 캡처한다. [이미지 임베딩의 극좌표 위상을 입력으로] → [블록 간 원형 상관관계를 계산해] → [위상 스코어 함수를 학습하고] → [이미지 모달리티가 가진 고유의 기하학적 패턴을 수치화한다.]

2단계는 사전 지식 유도 기반의 유계 정렬(Prior-Guided Bounded Alignment) 과정이다. 텍스트 임베딩을 초기화한 후, 1단계에서 학습한 이미지의 위상 스코어를 가이드로 삼아 텍스트의 위상을 미세 조정한다. 이때 tanh 함수를 사용하여 보정 범위를 제한함으로써 텍스트가 가진 원래의 의미 구조가 파괴되지 않도록 보장한다. [초기화된 텍스트 표현과 이미지 위상 스코어를 입력으로] → [스코어 기반 잔차 보정 연산을 수행해] → [보정된 위상 ˆθ를 얻고] → [이미지 분포와 호환되면서도 텍스트의 의미를 간직한 대체 표현을 생성한다.]

기하학적 진단 결과, AnisoAlign은 기존 기법인 ReAlign 대비 더 균형 잡힌 로컬 지원 호환성(Local Support Compatibility)을 보였다. 특히 텍스트 표현을 이미지 공간으로 옮겼을 때의 중심점 불일치(Δμ)를 거의 0에 가깝게 줄이면서도, 소스 모달리티의 의미 보존 지표(Φ, Ψ)에서 가장 높은 점수를 기록했다.

MLLM 성능 평가에서 텍스트 데이터만으로 학습한 경우(Fully Text-Only), AnisoAlign은 평균 47.49점을 기록하여 ReAlign(45.00) 및 C3 Align(42.44)을 유의미하게 앞질렀다. 또한 텍스트 데이터 규모를 2M으로 확장했을 때 평균 52.75점을 기록하여, 실제 이미지-텍스트 쌍으로 학습한 모델의 성능(52.72)을 소폭 상회하는 놀라운 효율성을 입증했다.

본 연구는 모달리티 간극이 등방성 노이즈(Isotropic Noise)라는 귀무가설을 기각하고, 그것이 저차원의 구조화된 이방성 잔차임을 통계적으로 증명했다. 이를 위해 잔차 anisotropy ratio(Ar)와 유효 차원(deff) 개념을 도입하여 분석했다. 아키텍처 측면에서는 복잡한 크로스 모달 매핑을 직접 학습하는 대신, 대상 모달리티의 내부 통계(Marginal Phase, Pairwise Coupling)를 보존하는 스코어 기반 생성 모델링 기법을 정렬에 접목했다. 특히 2차원 블록 단위의 극좌표 분해는 고차원 공간의 회전 불변성을 유지하면서도 방향성 잔차를 효과적으로 제어할 수 있는 수학적 장치를 제공한다.

AnisoAlign은 사전 학습된 멀티모달 인코더가 이미 어느 정도 의미적으로 호환되는 공유 공간을 형성했다는 전제하에 작동한다. 만약 인코더가 두 모달리티 사이의 공통된 기하학적 뼈대를 구축하지 못한 상태라면 이방성 보정의 효과가 크게 떨어질 수 있다.