비독립적 동일 분포(Non-IID) 데이터를 포함하는 연합 학습에서의 멀티태스크 오토인코더 기반 샘플 선택

연합 학습은 데이터 프라이버시를 보호하지만, 각 기기의 데이터가 서로 다른 분포를 가지거나 노이즈가 섞여 있을 때 모델 성능이 급격히 저하되는 한계가 있다. 이 논문은 중앙 서버가 데이터를 직접 보지 않고도 클라이언트 수준에서 불량 데이터를 걸러낼 수 있는 효율적인 샘플 선택 기법을 제시하여 연합 학습의 실용성을 높인다.

연합 학습에서 각 클라이언트는 고유한 환경에서 데이터를 생성하므로 데이터의 분포가 서로 다른 Non-IID 문제가 발생한다. 특히 일부 클라이언트에 잘못된 라벨(Label Noise)이나 손상된 이미지(Pixel Noise)가 섞여 있으면, Gradient Descent 과정에서 모델이 잘못된 방향으로 학습되어 전체 성능을 갉아먹게 된다. 기존의 Shapley Value 기반 데이터 가치 평가는 계산 비용이 너무 커서 수천 개의 클라이언트가 참여하는 실제 연합 학습 환경에 적용하기 어렵다.

이 논문은 Autoencoder의 재구성 원리를 활용한다. 정상적인 데이터 분포를 따르는 이미지는 저차원의 Embedding으로 압축되었다가 다시 원래 이미지로 잘 복원되지만, 이상치나 노이즈가 섞인 이미지는 재구성 오차(Reconstruction Error)가 크게 발생한다. 여기에 분류 손실(Classification Loss)을 결합하면, 이미지는 정상처럼 보이지만 라벨이 틀린 경우와 이미지 자체가 손상된 경우를 동시에 식별할 수 있다.

결과적으로 모델은 학습 과정에서 '설명이 잘 안 되는' 샘플들을 스스로 걸러내게 된다. 이는 마치 학생이 공부할 때 명확한 개념 위주로 먼저 학습하고, 논란이 있거나 오류가 의심되는 문제는 나중에 검토하거나 제외하여 학습 효율을 높이는 것과 유사한 원리다.

MTAE(Multi-Task Autoencoder)는 Encoder, Decoder, Classifier 세 부분으로 구성된다. 입력 이미지 x가 Encoder를 거쳐 잠재 벡터 z로 변환되면, Decoder는 이를 다시 x'로 복원하고 Classifier는 z를 바탕으로 클래스 라벨 y'를 예측한다. 전체 손실 함수 L은 재구성 손실(MSE)과 분류 손실(Cross-Entropy)의 가중치 합으로 정의된다.

[입력 이미지 x → Encoder f(x) → 잠재 벡터 z] 과정을 거쳐 데이터의 핵심 특징을 추출하고, [z → Decoder g(z) → 복원 이미지 x']를 통해 원본과의 차이인 MSE를 계산한다. 동시에 [z → Classifier h(z) → 예측 확률 p]를 통해 정답 라벨과의 Cross-Entropy를 계산하여 모델의 확신도를 측정한다.

서버는 클라이언트들로부터 수집한 손실 값들의 통계(최솟값, 최댓값)를 바탕으로 적응형 임계값 lt를 계산한다. lt = ll + (lh - ll) * ltr 식을 사용하며, 여기서 ll은 최소 손실, lh는 최대 손실의 평균, ltr은 학습 진행에 따라 증가하는 비율이다. 클라이언트는 각 샘플의 손실이 이 임계값보다 높으면 이상치로 판단하여 학습에서 제외하거나 낮은 확률로 샘플링한다.

특징 기반 선택을 위해 Federated Multi-class SVDD 손실을 추가한다. L_reg = (1/k) * Σ (Ri^2 + (1/ni) * Σ max{0, ||f(xj) - μi||^2 - Ri^2}) 공식을 사용한다. [잠재 벡터 f(xj)와 클래스 중심 μi 사이의 거리 계산 → 반지름 Ri를 넘어서는 오차 측정 → 손실 합산] 과정을 통해 정상 데이터를 중심점 근처로 밀집시킨다. 서버는 공용 데이터셋을 이용해 클래스별 중심 μi와 반지름 Ri를 계산하여 클라이언트에 배포한다.

CIFAR10 데이터셋에서 40%의 노이즈가 섞인 환경을 시뮬레이션한 결과, OCSVM을 이용한 손실 기반 샘플 선택 기법은 기본 모델 대비 최대 7.02%의 정확도 향상을 기록했다. 특히 Closed-set 노이즈(라벨이 다른 클래스로 바뀐 경우)에서 필터링 효과가 두드러졌다.

MNIST 데이터셋에서는 적응형 임계값(AT) 방식이 100개 클라이언트 환경에서 1.83%의 성능 향상을 보였다. Isolation Forest(IF) 방식 역시 1000개 클라이언트의 대규모 환경에서 1.69%의 정확도 이득을 얻어 대규모 연합 학습에서의 확장성을 입증했다.

특징 기반 선택에 SVDD 손실을 결합했을 때, CIFAR10의 SVHN 오픈셋 노이즈 환경에서 OCSVM의 성능이 추가로 0.59% 향상되었다. 이는 SVDD가 특징 공간을 더 정교하게 구조화하여 이상치 탐지 알고리즘이 정상과 비정상을 더 명확히 구분할 수 있도록 도왔음을 의미한다.

MTAE 아키텍처는 데이터셋에 따라 다르게 설계되었다. MNIST용은 2층의 CNN Encoder와 Transposed CNN Decoder를 사용하며 잠재 벡터 크기는 512이다. CIFAR10용은 4층의 CNN 구조와 Batch Normalization을 포함하며 잠재 벡터 크기는 1024로 확장되었다.

이상치 탐지 모델인 OCSVM과 IF는 매 5라운드마다 서버에서 갱신된다. 서버는 클라이언트가 보낸 2차원 손실 공간(CE, MSE) 좌표 또는 고차원 특징 벡터를 학습 데이터로 사용한다. OCSVM은 RBF(Radial Basis Function) 커널을 사용하여 비선형 경계면을 형성하며, IF는 데이터의 고립 정도를 바탕으로 이상치 점수를 산출한다.

SVDD 적용 시 λ_reg 가중치는 10^-5로 매우 작게 설정하여 주 학습 목표인 분류 성능을 해치지 않으면서 특징 공간만 미세하게 조정하도록 설계했다. 또한 샘플 선택의 안정성을 위해 초기 400라운드 동안은 필터링 없이 학습하는 Warm-up 기간을 두어 모델이 기본적인 데이터 특징을 먼저 파악하도록 유도했다.

OCSVM의 학습 복잡도는 샘플 수의 제곱에서 세제곱(O(n^2·d) ~ O(n^3·d))에 비례하므로 클라이언트 수가 매우 많아질 경우 서버의 계산 부하가 증가할 수 있다. 또한 데이터 오염률(Contamination) 파라미터를 사전에 설정해야 하는데, 실제 환경에서는 노이즈 수준을 미리 알기 어렵다는 한계가 있다.