자연 이미지에 대한 대조 학습 이론

대조 학습이 라벨 없는 이미지로도 강력한 표현을 학습하는 이유를 주파수 통계 관점에서 수학적으로 연결한 점이 중요하다. 이 연구는 단층 CNN과 간단한 저수준 증강만으로도 얻어지는 표현이 본질적으로 주파수 측정과 부분 화이트닝으로 환원될 수 있음을 보였다. 이러한 관점은 증강 설계와 합성 데이터 선택이 학습된 표현의 유용성에 미치는 영향을 정량적으로 예측할 수 있게 한다.

대조 학습은 동일 이미지의 두 증강을 가깝게 하고 다른 이미지의 표현은 멀게 만드는 목적을 갖는다. 이 목적은 표현 간 쌍별 거리만을 사용하므로 표현의 분포 균일성(uniformity)과 증강 내 일관성(alignment) 사이의 균형을 요구한다. 정지성(stationarity)을 가정하면 이미지의 주파수 성분(DFT 계수)은 서로 독립의 가우시안으로 근사되어 주파수별 통계 g(k)를 정의할 수 있다.

이 논문의 핵심 직관은 위 두 요소를 주파수 공간에서 분리하는 것이다. 증강들이 주로 국소적 변환(순환 크롭, 밝기·대비 변동, 저역 통과 등)으로 표현될 때 적절한 주파수 성분을 측정하면 증강 쌍의 정렬 오차를 작게 만들 수 있다. 동시에 균일성 항은 출력 공분산을 등방성으로 만들라고 압력을 가하며, 이는 측정한 주파수의 응답을 기대 파워 g(k)의 역수로 스케일링하는 부분 화이트닝으로 귀결된다.

결과적으로 최적 표현은 입력 이미지를 DFT로 본 뒤 선택된 비DC 주파수들에 대해 제곱 에너지(또는 ReLU 절대값)에 역스케일을 적용하여 K차원 벡터를 구성하는 방식이다. 단층 CNN은 사인파 필터로 이러한 주파수 에너지를 추출하고 제곱·GAP·선형 투영으로 부분 화이트닝을 실현할 수 있다. 주파수 선택과 각 채널의 스케일은 워터필링 최적화로 결정되어 일부 채널에만 비제로 파워가 할당되므로 표현은 저유효랭크 성질을 갖는다.

전체 접근은 InfoNCE 손실을 가우시안 가정하에 GUPA 손실로 근사하여 수학적으로 해석 가능한 형태로 바꾸는 것에서 출발했다. GUPA는 정렬 항 t E[||y(Tx)-y(x)||^2]과 가우시안 균일성 항 -1/2 log det(Σ_y+ϵI) - 1/2 Tr(Σ_y(Σ_y+ϵI)^{-1})로 구성되어 균일성 항의 최소가 화이트닝임을 보였다. 여기서 ϵ는 역온도 t에 의존하며 ϵ = 1/(2t)로 정의되어 정규화 항의 강도를 조절한다.

다음 단계로 표현을 y(x)=W^T φ(x)로 가정하고 출력층 W만 최적화하는 상황을 분석하여 최적 W의 열이 (B,Σ) 일반화 고유벡터임을 증명했다. 여기서 Σ는 penultimate features의 공분산, B는 증강 차이 δ(x)=φ(x)-φ(Tx)의 자기교차 기댓값이다. 고유벡터의 스케일링은 유한 총 파워 제약 하에서 L(P) 목적을 최소화하는 워터필링 절차로 결정되며, 이로써 일부 채널에만 전력이 할당되는 저유효랭크 해가 도출된다.

정지성 통계를 적용하면 DFT 계수는 서로 독립 가우시안으로 근사되므로 Σ와 B가 주파수 축에서 대각 행렬로 표현된다. 이로 인해 고유벡터는 주파수별 단위 벡터가 되고 최적 표현은 특정 주파수 집합의 |x^F[k]|^2를 측정하고 g(k)로 정규화하는 형태임이 증명된다. 단층 CNN은 사인파 필터를 통해 이러한 주파수 에너지를 근사적으로 계산하고, 제곱 혹은 ReLU·절댓값 비선형성과 GAP를 통해 DFT 기반 특징을 구현할 수 있다.

이론적 결과는 여러 실험으로 검증되었다. 단층 CNN 아키텍처(첫층 256개의 11×11 필터, 비선형성 z^2 또는 ReLU, GAP, 32차원 선형 투영)를 PyTorch로 학습한 실험에서 첫층 필터가 사인파 형태로 수렴했고 네트워크의 주파수 민감도는 논문이 예측한 부분 화이트닝 패턴과 일치했다. 실험 데이터는 CIFAR10/CIFAR100/ImageNet과 프랙탈 노이즈, dead leaves 등 합성 데이터셋을 포함했으며 CIFAR10 전체는 50,000개의 이미지로 구성되어 데이터 통계 검증에 사용되었다.

KNN 분류 성능 측정에서는 학습된 표현이 원래 가중치 대비 인식 정확도를 크게 향상시켰지만 대부분의 향상이 PCA 기반의 선형 부분 화이트닝과 유사한 수준임이 관찰되었다. 논문은 부분 화이트닝 비교에서 λ=0.1인 정규화 항을 사용한 PCA 기반 표현이 ReLU 네트워크의 표현과 비교 가능함을 보고했다. 다만 SOTA 수준의 강력한 증강 세트에서는 학습된 국소적 필터가 단순 부분 화이트닝을 넘어 추가적인 정렬 이득을 제공하여 차이를 만들었다.

또한 합성 이미지로 학습했을 때 실제 이미지(CIFAR10)에서의 전이 성능은 합성 이미지의 기대 파워 스펙트럼이 대상 데이터의 파워 스펙트럼과 얼마나 유사한지에 의해 결정되는 경향을 보였다. 이 관찰은 워터필링에 의해 선택된 주파수 세트와 데이터 파워 스펙트럼의 정합성(match)이 표현의 유용성을 좌우한다는 이론적 예측과 일치했다.

아키텍처는 한 개의 합성곱층(256개의 11×11 필터), 포인트와이즈 비선형성(제곱 또는 ReLU), 글로벌 평균 풀링(GAP), 그리고 32차원 선형 투영으로 구성되었다. 입력은 주로 흑백 이미지로 처리되었고 일부 실험에서 컬러 이미지를 사용했으며 컬러의 경우 채널 디코릴레이션 이후 각 채널별 사인파 필터가 학습되는 양상을 보였다. 학습은 L_GUPA 대조 손실을 최소화하는 방식으로 진행되었고 실험은 CIFAR10/CIFAR100/ImageNet과 여러 합성 데이터셋에서 수행되었다.

수학적 기반은 InfoNCE 손실을 가우시안 분포 가정 하에서 GUPA 손실로 근사하는 정리에서 출발한다. 여기서 y(x)는 표현, Σ_y는 표현의 공분산, t는 역온도(inverse temperature)이고 ϵ=1/(2t)가 정규화 항으로 도입된다. GUPA 손실은 t E[||y(Tx)-y(x)||^2] - 1/2 log det(Σ_y+ϵI) - 1/2 Tr(Σ_y(Σ_y+ϵI)^{-1}) 형태로 정리되며, 두 항은 각각 정렬과 가우시안 균일성을 수학적으로 포착한다.

선형 투영만 최적화하는 상황에서는 최적 W의 열이 일반화 고유벡터 문제 B W Λ = Σ W로 귀결되며 여기서 B=E[δ(x)δ(x)^T]는 증강 차이의 자기교차 행렬이다. 이때 스케일링 α_k는 총 전력 제약 ∑_k P_k ≤ 1(여기서 P_k=α_k^2)을 만족하며 목적 L({P_k})=∑_k P_k λ_k - ϵ ∑_k log(P_k+ϵ) - ϵ^2 ∑_k P_k/(P_k+ϵ)을 최소화한다. 이 최적화는 워터필링 알고리즘으로 풀이되며 채널에 비제로 할당이 일부에 한정되는 저유효랭크 해를 생성한다.

정지성 가정 하에서 Peligrad & Wu (2010)에 의한 결과를 적용하면 이미지의 DFT 계수 x^F[k]는 실수·허수 성분이 평균 0, 분산 g(k)/2의 가우시안 분포를 따르고 서로 쌍별 독립에 근사한다. 따라서 Σ와 B는 주파수 인덱스에 대해 대각 형태가 되고, 고유벡터는 주파수별 단위 벡터로 환원되어 최적 표현은 y_i^*(x)=|x^F[k_i]|^2 / g(k_i) (또는 ReLU 버전의 제곱근 형태)임이 도출된다.

논문에서 명시한 주요 한계는 단순한 CNN 구조와 제한된 증강 집합을 전제로 이론을 전개했다는 점이다. 따라서 실제 SOTA 딥러닝 아키텍처와 복잡한 증강·데이터 분포에서는 이론적 결론이 직접적으로 동일하게 적용되지 않을 수 있다. 또한 GUPA와 InfoNCE의 동등성은 표현 y가 가우시안 분포를 따를 때 근사적으로 성립하므로 이 가정이 깨지는 경우 이론적 결과의 정확도가 떨어질 수 있다.