온라인 증강 학습에서 잠재 공간 배양을 위한 최적 운송 기반 접근 방식

데이터가 실시간으로 들어오는 온라인 학습 환경에서는 새로운 정보를 배울 때 과거의 지식을 잊어버리는 파멸적 망각 문제가 심각하다. 이 논문은 최적 운송 이론을 활용해 데이터의 복잡한 분포 변화를 실시간으로 추적하고 보존함으로써, 추가 학습 시에도 과거 모델의 성능을 안정적으로 유지하는 새로운 프레임워크를 제시한다.

기존의 온라인 학습은 각 클래스를 하나의 중심점(Centroid)으로만 표현하려 했다. 하지만 실제 데이터는 하나의 클래스 안에서도 여러 개의 덩어리(Cluster)로 나뉘는 다중 모드 특성을 가진다. 데이터가 계속 유입되면서 이 덩어리들의 위치가 변하면, 고정된 중심점으로는 데이터의 변화를 따라가지 못해 결국 과거 정보를 잊게 된다.

이 논문은 각 클래스를 여러 개의 가우시안 분포가 섞인 혼합 모델로 정의하고, 새로운 데이터가 들어올 때마다 최적 운송(Optimal Transport) 이론을 통해 이 분포들을 조금씩 이동시킨다. 최적 운송은 두 분포 사이의 '최소 이동 비용'을 계산하는 원리로, 이를 통해 현재 모델이 가진 중심점들을 새로운 데이터 분포에 가장 효율적으로 맞추도록 유도한다.

결과적으로 모델은 데이터의 복잡한 구조를 실시간으로 학습하면서도, 과거에 정의된 클래스 영역이 무너지지 않도록 잠재 공간을 관리한다. 이는 새로운 지식을 습득하면서도 기존 지식의 '형태'를 유지하게 만들어 학습의 안정성을 획기적으로 높인다.

전체적인 접근 방식은 OTC(Online Incremental Learning with Optimal Transport) 프레임워크로, 새로운 데이터 배치와 리플레이 버퍼의 데이터를 동시에 사용하여 특징 추출기를 학습시킨다. 학습 과정은 Cross-Entropy 손실을 통한 초기 학습, MMOT를 이용한 분포 갱신, 그리고 동적 보존(Dynamic Preservation) 단계로 구성된다.

MMOT 메커니즘은 가우시안 혼합 모델(GMM)의 파라미터를 최적 운송의 엔트로피 쌍대 형식(Entropic Dual-form)을 통해 업데이트한다. [입력 데이터와 현재 GMM 분포를 입력으로] → [Gumbel-Softmax를 이용한 미분 가능한 샘플링과 Kantorovich 네트워크 ϕ를 통한 쌍대 목적 함수 최적화를 수행해] → [각 가우시안 성분의 평균과 분산에 대한 그래디언트를 얻고] → [이를 통해 데이터 스트림에 맞춰 센트로이드를 점진적으로 이동시킨다].

동적 보존 전략은 학습된 센트로이드 정보를 활용해 잠재 공간의 구조를 규제한다. [현재 데이터의 특징 벡터와 MMOT로 찾은 센트로이드 위치를 입력으로] → [같은 클래스의 데이터는 해당 센트로이드로 당기고 다른 클래스의 특징과는 멀어지도록 로그 합 연산을 수행해] → [클래스 내 응집도와 클래스 간 분리도를 극대화하는 손실 값을 계산하고] → [모델 가중치를 갱신하여 특징점들이 잠재 공간에서 섞이지 않게 유지한다].

Tiny-ImageNet, CIFAR-100, CIFAR-10, MNIST 등 주요 벤치마크에서 기존의 SOTA(State-of-the-Art) 모델들을 능가하는 성능을 보였다. 특히 메모리 버퍼 크기가 작을수록 타 모델 대비 성능 우위가 두드러졌으며, Tiny-ImageNet 데이터셋에서는 기존 방식보다 평균 정확도가 최대 2% 이상 향상되었다.

Ablation Study를 통해 단일 센트로이드보다 다중 센트로이드를 사용하는 것이 성능 향상에 핵심적임을 확인했다. CIFAR-10 실험에서 클래스당 센트로이드 개수를 1개에서 4개로 늘렸을 때 정확도가 약 4% 포인트 상승했으며, 이는 데이터의 다중 모드성을 캡처하는 것이 온라인 학습에서 필수적임을 입증한다.

파멸적 망각 측정(FFM) 지표에서도 우수한 결과를 나타냈다. CoPE와 같은 강력한 베이스라인과 비교했을 때, OTC는 학습이 진행됨에 따라 과거 태스크의 정확도 하락 폭이 훨씬 작았으며, 이는 제안된 동적 보존 전략이 잠재 공간의 안정성을 효과적으로 확보하고 있음을 보여준다.

본 연구의 핵심 아키텍처는 특징 추출기 fθ와 각 클래스별 GMM 파라미터로 구성된다. 온라인 환경의 제약을 극복하기 위해 EM 알고리즘의 반복 루프를 제거하고, Wasserstein 거리를 최소화하는 방향으로 직접적인 경사 하강법 업데이트를 수행한다.

수학적으로는 Wasserstein-2 거리를 엔트로피 정규화된 쌍대 문제로 변환하여 기대값 형태의 목적 함수를 도출했다. 이를 통해 미니배치 단위의 확률적 최적화가 가능해졌으며, Kantorovich 네트워크를 소규모 MLP로 구현하여 연산 효율성을 확보했다. GMM의 가중치 π는 Gumbel-Softmax 분포를 통해 미분 가능하게 처리되어 역전파 학습이 가능하다.

추론 단계에서는 학습된 다중 센트로이드 정보를 활용한다. 입력 데이터 x에 대해 각 클래스의 가우시안 성분들과의 마할라노비스 거리(Mahalanobis distance)를 계산하고, 가장 가까운 거리를 가진 클래스로 분류를 수행함으로써 단순 소프트맥스 분류보다 높은 강건성을 확보했다.

논문에서는 클래스당 최적의 센트로이드 개수(K)가 메모리 버퍼 크기에 따라 달라질 수 있음을 언급하며, 너무 많은 센트로이드를 사용할 경우 오히려 성능이 저하될 수 있는 임계점이 존재함을 한계로 지적한다. 또한, Kantorovich 네트워크 ϕ를 매 배치마다 업데이트해야 하므로 추가적인 연산 비용이 발생한다는 점을 명시했다.