EEG 파운데이션 모델을 위한 테스트 타임 적응: 실제 세계 분포 변화에 대한 체계적 연구

뇌파(EEG) 기반 AI 모델은 병원이나 측정 장비가 바뀔 때 성능이 급격히 저하되는 분포 변화 문제를 겪는다. 이 논문은 별도의 학습 데이터 없이 추론 단계에서 모델을 조정하는 테스트 타임 적응(TTA) 기술이 EEG 영역에서 어떻게 작동하는지 분석하여, 실제 의료 현장에서의 AI 신뢰성을 높이는 방향을 제시한다.

딥러닝 모델은 학습 데이터와 유사한 데이터가 들어올 때 가장 잘 작동하지만, 실제 병원 현장의 뇌파(EEG)는 환자마다 특성이 다르고 측정 기기마다 신호의 세기가 달라지는 분포 변화(Distribution Shift)가 빈번하다. 기존에는 이를 해결하기 위해 새로운 데이터를 모아 다시 학습(Fine-tuning)해야 했으나, 의료 데이터의 특성상 개인정보 보호와 라벨링 비용 문제로 인해 소스 데이터 없이 추론 시점에만 적응하는 테스트 타임 적응(TTA)이 필수적이다.

일반적인 TTA는 모델의 가중치를 미세하게 조정하여 예측의 불확실성(Entropy)을 줄이는 방식을 사용한다. 하지만 EEG 신호는 시간에 따라 비정상성(Non-stationary)이 강하고 노이즈가 많아, 추론 시점에 가중치를 직접 수정하면 오히려 모델이 학습했던 견고한 표현(Representation)이 파괴되는 문제가 발생한다.

이 논문은 가중치를 건드리지 않고 클래스별 대표 특징값인 프로토타입(Prototype)만을 업데이트하는 방식이 EEG 모델의 안정성을 유지하는 핵심임을 밝혀냈다. 이는 모델의 뇌(가중치)를 수술하는 대신, 새로운 환경에 맞춰 정답을 판단하는 기준점(분류기)만 유연하게 조정하는 것과 유사한 원리이다.

NeuroAdapt-Bench는 3단계 파이프라인으로 구성된다. 첫째, REVE, CBraMod, TFM-Tokenizer 등 다양한 EEG 파운데이션 모델의 인코더를 고정하고 공통된 경량 분류기 헤드를 학습시킨다. 둘째, 추론 단계에서 라벨이 없는 타겟 데이터를 입력하며 TTA 기법(Tent, SHOT, T3A)을 적용하거나 적용하지 않은 대조군을 설정한다. 셋째, 다양한 평가지표를 통해 성능 변화를 측정한다.

평가 대상인 T3A 기법은 최적화 과정이 없는(Optimization-free) 방식이다. 각 클래스 k에 대해 낮은 엔트로피를 가진 특징 벡터 z들을 모아 지원 세트 S_k를 유지하고, 이들의 평균값인 클래스 프로토타입 c_k를 계산한다 [입력 특징 벡터들의 평균 연산 → 클래스 대표값 생성 → 분류 기준점 설정]. 이후 새로운 입력 z와 프로토타입 c_k 사이의 유사도를 계산하여 최종 클래스를 결정한다 [입력값과 대표값의 내적 연산 → Softmax 적용 → 예측 확률 출력].

실험 결과, Tent나 SHOT과 같은 경사 하강법 기반 TTA 방식은 대부분의 EEG 데이터셋에서 성능을 크게 저하시켰다. 특히 TUAB 데이터셋에서는 모든 TTA 방식이 성능 하락을 보였는데, 이는 타겟 데이터가 학습 데이터와 매우 유사할 경우 오히려 적응 과정이 잘 정렬된 표현을 방해하기 때문이다.

반면, T3A는 가장 안정적인 거동을 보였으며 CHB-MIT 데이터셋에서 REVE-Base 모델 적용 시 균형 정확도(Balanced Accuracy)가 최대 18.9%p 향상되는 성과를 거두었다. 또한 Ear-EEG와 같은 극단적인 모달리티 변화 상황에서도 T3A는 다른 기법들과 달리 성능 방어에 성공하며 실무 배포 가능성을 입증했다.

본 연구는 EEG 파운데이션 모델의 견고성을 평가하기 위해 인-분포(In-distribution), 아웃-분포(Out-of-distribution), 극단적 모달리티 변화(Extreme Shift)의 세 가지 시나리오를 정의했다. 아키텍처 측면에서는 연속적 임베딩 기반 모델(REVE, CBraMod)과 이산적 토큰화 기반 모델(TFM-Tokenizer)을 모두 포함하여 표현 방식에 따른 TTA의 민감도를 분석했다.

수학적으로 Tent는 정규화 계층(Normalization layers)의 아핀 파라미터만을 업데이트하여 엔트로피를 최소화하는 반면, SHOT은 상호 정보량 최대화(Mutual Information Maximization)와 의사 라벨링(Pseudo-labeling)을 통해 인코더 전체를 조정한다. 연구 결과, 이러한 파라미터 업데이트 방식이 EEG의 높은 비정상성으로 인해 수렴에 실패하거나 부정적 전이를 유발함을 확인했으며, 이를 통해 향후 EEG 특화 TTA 설계 시 가중치 고정 및 프로토타입 기반 접근의 중요성을 기술적으로 논증했다.

본 벤치마크는 세 가지 대표적인 TTA 기법만을 다루고 있어 모든 TTA 알고리즘 군을 포괄하지는 못한다. 또한 대규모 모델인 REVE-Large 등을 사용할 때 발생하는 메모리 비용 및 계산 효율성에 대한 상세한 분석이 부족하며, 실제 임상 현장의 실시간 스트리밍 환경에서의 하드웨어 제약 사항은 충분히 고려되지 않았다.