InfoNCE는 가우시안 분포를 유도한다

대조 학습으로 생성된 데이터 표현이 왜 자연스럽게 가우시안(정규) 분포를 따르는지 수학적으로 증명했다. 이는 AI 모델이 학습한 데이터를 통계적으로 분석하거나 이상치를 탐지할 때 가우시안 모델을 사용하는 것에 대한 강력한 이론적 근거를 제공한다.

대조 학습(Contrastive Learning)은 비슷한 데이터(양성 쌍)는 가깝게, 다른 데이터(음성 쌍)는 멀게 밀어내는 방식으로 데이터의 특징(Embedding)을 학습한다. 이때 가장 널리 쓰이는 InfoNCE 손실 함수는 데이터들을 단위 구(Hypersphere) 위에 고르게 퍼뜨리려는 성질(Uniformity)을 갖는다. 하지만 단순히 고르게 퍼지는 것을 넘어, 이 데이터들이 구체적으로 어떤 확률 분포를 형성하는지에 대해서는 그동안 명확한 설명이 부족했다. 이 논문은 고차원 공간에서 데이터가 구 위에 균일하게 분포할 때, 이를 낮은 차원으로 투영(Projection)하면 가우시안 분포(정규 분포)로 수렴한다는 수학적 원리(Spherical CLT)에 주목한다. InfoNCE가 데이터를 구 위에 균일하게 배치하려는 압력을 가하기 때문에, 학습이 진행될수록 결과적으로 표현들이 가우시안 구조를 갖추게 되는 것이다. 특히 데이터 증강(Augmentation)이 정렬(Alignment)의 최대치를 제한한다는 점을 수학적으로 연결했다. 증강이 너무 강하면 데이터 쌍이 서로 멀어지고, 증강이 약하면 너무 달라붙는데, 이 균형점 근처에서 InfoNCE는 데이터를 가장 효율적으로 배치하기 위해 가우시안 형태의 구조를 형성하게 된다. 이는 모델 아키텍처나 데이터 종류와 상관없이 InfoNCE라는 목적 함수 자체의 특성에서 기인하는 현상이다.

HGR 최대 상관관계를 이용한 정렬 경계(Alignment Bound) 정의. 데이터 증강 채널 A를 통해 생성된 두 뷰 X, Y 사이의 예측 가능성을 eta2로 수치화하고, 이를 통해 양성 쌍의 기대 정렬값이 eta2 + (1-eta2)||m(mu)||^2 이하로 제한됨을 증명했다. [입력: 데이터 증강 강도 eta2 → 연산: HGR 상관관계 기반 부등식 계산 → 출력: 달성 가능한 최대 정렬값 → 의미: 증강의 세기가 표현 학습의 정렬 한계를 결정함] 정렬 고점(Alignment Plateau) 가설 기반의 점근적 분석. 학습이 충분히 진행되어 정렬이 포화 상태에 이르면, InfoNCE 목적 함수는 구 위에서의 균일성(Uniformity) 문제로 단순화된다. 이때 Maxwell-Poincare 구형 중심 극한 정리를 적용하여 고차원 구 위의 균일 분포가 저차원 투영 시 가우시안 분포로 수렴함을 도출했다. [입력: 고차원 구 위의 균일 분포 표현 → 연산: 저차원 공간으로의 직교 투영 → 출력: 다변량 가우시안 분포 → 의미: 고차원 균일성이 저차원 가우시안 구조를 생성함] 정규화 경로(Regularized Route)를 통한 이론적 보완. 얇은 껍질(Thin-shell) 집중 현상이나 특정 학습 역학에 의존하지 않기 위해, 엔트로피를 높이고 노름(Norm)을 제한하는 소실 정규화 항을 추가한 목적 함수를 분석했다. 이를 통해 정규화된 InfoNCE의 전역 최적해 자체가 가우시안 분포임을 수학적으로 확립했다. [입력: 노름 제한 및 엔트로피 정규화 항 → 연산: 정규화된 목적 함수의 전역 최적화 → 출력: 가우시안 분포 최적해 → 의미: 정규화 조건 하에서 가우시안 분포가 이론적 최적임을 입증함]

합성 데이터 실험 결과. Laplace 분포, 가우시안 혼합 모델(GMM), 이산 이진 데이터 등 입력 데이터의 원래 분포와 상관없이 InfoNCE로 학습된 표현은 일관되게 가우시안 특성을 보였다. Anderson-Darling(AD) 및 D'Agostino-Pearson(DP) 테스트에서 대부분의 좌표가 가우시안 수용 범위 내에 들어왔다. CIFAR-10 및 파운데이션 모델 검증. ResNet-18로 학습한 CIFAR-10 표현과 CLIP, DINO와 같은 대규모 모델의 표현을 분석한 결과, 지도 학습(Supervised) 모델보다 대조 학습 모델의 표현이 훨씬 더 강한 가우시안 특성과 노름 집중(Thin-shell) 현상을 보였다. 특히 CLIP의 이미지/텍스트 임베딩은 화이트닝(Whitening) 처리 후 거의 완벽한 가우시안 분포에 도달했다.

논문은 InfoNCE 손실 함수가 표현 공간에 가우시안 구조를 유도하는 원인을 수학적으로 규명한다. 핵심은 InfoNCE가 '정렬(Alignment)'과 '균일성(Uniformity)'이라는 두 가지 상반된 압력을 조절하며, 고차원 구(Hypersphere) 위에서 데이터를 균일하게 배치하려 한다는 점이다. 이론적 분석을 위해 HGR(Hirschfeld-Gebelein-Renyi) 최대 상관관계를 도입하여 데이터 증강이 허용하는 최대 정렬 경계를 설정했다. 이는 기존 연구들이 데이터 증강의 효과를 실험적으로만 다루었던 것과 차별화되는 지점이다. '정렬 고점(Alignment Plateau)' 시나리오에서는 고차원 구 위의 균일 분포가 저차원 투영 시 가우시안으로 수렴한다는 Maxwell-Poincare 정리를 활용한다. 또한 '정규화 경로' 분석을 통해 엔트로피 최대화와 노름 최소화가 결합될 때 가우시안 분포가 유일한 최적해가 됨을 증명했다. 실험적으로는 변동 계수(CV)를 통해 노름이 특정 반지름에 집중되는 '얇은 껍질(Thin-shell)' 현상을 정량화했으며, AD 및 DP 테스트를 통해 각 좌표의 정규성을 검증했다. 이는 대조 학습 모델이 명시적인 가우시안 정규화 없이도 암시적으로 가우시안 편향을 가짐을 시사한다.

본 연구의 결과는 고차원 극한(High-dimensional limit)과 이상적인 가정(정렬 포화 등)에 기반한 점근적 분석이다. 따라서 실제 유한한 차원과 배치 크기에서는 가우시안 분포로부터의 편차가 발생할 수 있으며, 최적화 역학이 이러한 최적해에 도달하는 과정을 완벽하게 보장하지는 않는다.