InfoNCE가 유도하는 가우시안 분포

대조 학습(Contrastive Learning)은 대규모 비라벨 데이터를 활용하여 작업 특화 모델 및 일반적인 파운데이션 모델(Foundation Model)을 훈련하는 현대 표현 학습(Representation Learning)의 초석이 되었습니다. 대조 학습 훈련에서 전형적인 손실 함수는 InfoNCE와 그 변형들입니다. 본 연구에서는 InfoNCE 목적 함수가 대조 학습에서 나타나는 표현(Representation)에 가우시안(Gaussian) 구조를 유도함을 보여줍니다. 연구진은 두 가지 상호 보완적인 체계에서 이 결과를 확립했습니다. 첫째, 특정 정렬(Alignment) 및 집중(Concentration) 가정 하에서 고차원 표현의 투영이 점근적으로 다변량 가우시안 분포(Multivariate Gaussian Distribution)에 접근함을 보여줍니다. 다음으로, 덜 엄격한 가정 하에서 낮은 특징 노름(Feature Norm)과 높은 특징 엔트로피(Feature Entropy)를 촉진하는 점근적으로 소멸하는 작은 정규화 항을 추가하면 유사한 점근적 결과가 도출됨을 보여줍니다. 연구진은 다양한 인코더 아키텍처와 크기에 걸쳐 합성 데이터셋 및 CIFAR-10 데이터셋에 대한 실험을 통해 분석을 뒷받침하며, 일관된 가우시안 거동을 입증했습니다. 이러한 관점은 대조 표현에서 흔히 관찰되는 가우시안성에 대한 원리적인 설명을 제공합니다. 결과적으로 도출된 가우시안 모델은 학습된 표현에 대한 원리적인 분석적 처리를 가능하게 하며, 대조 학습의 광범위한 응용 분야를 지원할 것으로 기대됩니다.