Rank-Aware Hyperbolic Alignment을 이용한 비전-언어 데이터셋 증류

대규모 이미지-텍스트 페어에 의존하는 VLM 구축은 프라이버시, 라이선스, 계산 비용 문제를 동반한다. 본 논문은 웹스케일 데이터를 소수의 합성 쌍으로 압축하면서 검색 성능과 모델 전이성을 유지하는 방법을 제시했다. 특히 계층적 의미를 보존하는 하이퍼볼릭 기하와 범위-잔차 분해를 결합해 제한된 합성 예산에서의 실용성을 확보했다.

대규모 이미지-텍스트 페어를 소수의 합성 쌍으로 압축하려면 단순히 전체 임베딩을 균등하게 정렬하는 것이 아니라 의미를 담는 주요 방향에 정렬 자원을 집중해야 한다. 본 논문은 이미지-텍스트 상관관계가 실질적으로 저순위 구조를 가지며 상위 저차원 범위(range)가 공유 의미를 담고 나머지는 약하게 상관된 잔차(residual)로 존재한다고 가정했다. 따라서 합성 예산이 제한된 상황에서는 범위 성분을 우선적으로 복사하고 잔차 성분은 규제하여 모달리티 고유의 다양성을 유지하는 것이 학습 신호를 더 효율적으로 전달한다.

RAHA는 세 가지 핵심 단계로 구성된다. 첫째, 이미지와 텍스트의 projected embeddings를 Lorentz 모델의 하이퍼볼로이드를 통해 공간에 리프팅하고 geodesic 거리를 기반으로 하는 하이퍼볼릭 InfoNCE(hITC)를 합성 쌍에 적용한다. 둘째, 리프팅된 포인트를 원점의 탄젠트 공간으로 로그 맵으로 되돌려 배치 수준의 교차 공분산을 계산하고 SVD로 상위 k를 선택하여 범위와 잔차 서브스페이스를 정의한다. 셋째, 각 서브스페이스에 대해 행 단위 relevance 분포를 계산한 뒤 Sinkhorn 엔트로피 정규화 수송으로 실데이터와 합성데이터의 분포를 맞추며 범위 에너지를 보존하고 잔차 에너지를 압축하는 규제를 병행한다.

RAHA는 Flickr8k, Flickr30k, MS COCO의 bidirectional Recall@K 평가에서 합성 예산이 증가할수록 성능 이득이 뚜렷해졌다. 특히 N=200 및 N=500에서 CovMatch 대비 평균 Recall에서 우위를 보였고 대체로 코어셋 선택 방법들보다 높은 성능을 확보했다. 추가적으로 구성요소 제거 실험에서 hITC만으로도 강력한 바탕 성능을 보였고 범위 매칭과 잔차 규제를 결합할 때 최종 성능이 가장 높아지는 양상이 관찰되었다.

전체 아키텍처는 NFNet 이미지 인코더와 BERT 텍스트 인코더, 각 인코더 뒤의 선형 투영 헤드를 사용하여 d차원 공유 공간으로 매핑한다. 합성 이미지는 픽셀 텐서(3×224×224)로 직접 최적화하며 합성 텍스트는 입력 레이어 토큰 임베딩을 연속 파라미터로 최적화하는 방식을 사용했다. 합성 파라미터만 SGD로 갱신하고 인코더 파라미터는 사전학습 체크포인트로 고정했다.

RAHA의 성능은 사용된 교사 인코더의 표현력에 제한을 받으며 도메인 드리프트나 잡음이 많은 캡션에서는 성능이 저하될 수 있다. 논문은 범위 선택 임계값 ρ와 Sinkhorn 정규화 ε 같은 하이퍼파라미터에 민감한 경향을 보고하며 특히 매우 작은 합성 예산에서는 MTT 계열 방법이 더 유리한 경우가 존재한다. 계산 측면에서 배치 크기가 커질수록 리프팅과 SVD 연산 비용이 급격히 증가해 실무 적용 시 자원 제한을 고려해야 한다.