멀티모달 도메인 일반화 연구는 진전되고 있는가? 종합 벤치마크 연구

멀티모달 학습이 도메인 변화에 강인하다는 통념과 달리, 실제로는 일관되지 않은 평가 프로토콜로 인해 성능이 과대평가되었을 가능성을 제기합니다. MMDG-Bench라는 표준화된 벤치마크를 통해 기존 특화 알고리즘들이 단순한 ERM 베이스라인보다 큰 우위를 점하지 못하고 있음을 실증적으로 보여주며 연구 방향의 전환을 촉구합니다.

멀티모달 학습은 비디오, 오디오, 텍스트 등 서로 보완적인 신호를 통합하여 모델의 강인성을 높이는 것이 목적이다. 하지만 실제 환경에서는 학습 데이터와 테스트 데이터의 분포가 다른 도메인 시프트(Domain Shift)가 발생하며, 특정 모달리티가 지배적이거나 일부 입력이 누락되는 등의 문제가 발생하여 모델 성능이 급격히 저하된다.

기존 연구들은 각기 다른 데이터셋과 평가 방식을 사용하여 자신들의 알고리즘이 우수하다고 주장해왔으나, 이는 마치 서로 다른 규칙으로 경기를 치르는 것과 같다. 이 논문은 모든 조건을 동일하게 맞춘 표준화된 환경에서 실험했을 때, 복잡한 특화 알고리즘들이 가장 기초적인 학습 방식인 ERM(Empirical Risk Minimization)과 비교해 유의미한 차이를 보이지 않는다는 점을 발견했다.

결과적으로 현재의 MMDG 기술은 단순히 모달리티를 늘린다고 해서 해결되는 것이 아니며, 모달리티 간의 불균형한 수렴 속도나 특정 신호에 대한 과도한 의존성을 해결하는 것이 핵심 과제임을 시사한다.

MMDG-Bench는 6개의 데이터셋(EPIC-Kitchens, HAC, HUST motor, CMU-MOSI, CMU-MOSEI, CH-SIMS)을 사용하여 동작 인식, 고장 진단, 감정 분석 작업을 수행한다. 평가 프로토콜은 Multi-source DG(여러 도메인으로 학습 후 미견문 도메인 테스트)와 Single-source DG(하나의 도메인으로 학습 후 테스트)를 모두 포함하며, Leave-one-domain-out 방식을 채택한다.

비교 대상인 9개 방법론은 ERM을 포함하여 RNA-Net(규격화 정렬), SimMMDG(공통/특화 표현 분해), MOOSA(자기지도 보조 작업), CMRF(표현 평탄화), NEL(비편향 임베딩), JAT(적대적 학습), MBCD(협업 증류), GMP(그래디언트 변조)로 구성된다. 모든 모델은 동일한 데이터 분할, 하이퍼파라미터 탐색 범위, 모델 선택 기준을 적용받는다.

강인성 평가는 오디오의 바람 소리(Wind noise)와 비디오의 초점 흐림(Defocus blur)이라는 두 가지 오염을 적용하여 측정한다. [원본 데이터 입력 → 특정 노이즈 함수 적용 → 오염된 데이터 생성 → 모델 추론 결과 비교] 과정을 통해 성능 저하 폭을 수치화한다. 또한 추론 시 특정 모달리티를 제거하여 누락 상황에 대한 대응력을 평가한다.

공정한 비교 환경에서 최신 MMDG 특화 방법론들은 ERM 베이스라인 대비 미미한 성능 향상만을 보였다. 특히 감정 분석 작업에서는 ERM이 오히려 특화 모델들을 앞서는 경우가 빈번하게 발생했다. 또한 어떤 단일 모델도 모든 데이터셋이나 모달리티 조합에서 일관되게 최고 성능을 기록하지 못했다.

3개 모달리티를 모두 사용하는 Trimodal 융합이 항상 2개 모달리티 조합보다 우수하지 않다는 사실이 밝혀졌다. 예를 들어 HAC 데이터셋에서 비디오+오디오+광류 조합은 비디오+오디오 조합보다 성능이 낮아지는 경우가 관찰되었는데, 이는 모달리티 간의 최적화 충돌이 발생할 수 있음을 의미한다.

실제 환경을 가정한 오염 및 누락 시나리오에서는 모든 모델의 성능이 심각하게 저하되었다. 비디오 오염 시 정확도가 최대 12.82%p 하락했으며, 비디오 모달리티가 누락될 경우 오디오만으로는 정상적인 추론이 거의 불가능한 수준(최대 43.93%p 하락)으로 떨어져 특정 모달리티에 대한 의존성이 매우 높음이 확인됐다.

MMDG-Bench는 하이퍼파라미터 편향을 제거하기 위해 각 알고리즘-데이터셋 쌍에 대해 10회의 무작위 탐색을 수행하고, 검증 데이터셋을 통해 최적의 설정을 선택한 후 3개의 다른 시드(seed)로 재학습하여 평균값을 보고한다. 총 7,402개의 모델 학습은 NVIDIA RTX 3090 및 4090 GPU 서버 환경에서 수행되었다.

신뢰성 평가를 위해 도입된 Misclassification Detection(MisD)은 모델이 자신의 예측이 틀릴 가능성을 얼마나 잘 인지하는지 측정한다. AURC(Area Under the Risk-Coverage Curve)와 AUROC를 지표로 사용하며, 실험 결과 예측 정확도가 높다고 해서 반드시 불확실성 추정(Uncertainty Estimation) 능력이 뛰어난 것은 아님이 증명되었다. 예를 들어 CMRF는 분류 정확도는 높았으나 MisD 지표에서는 최하위를 기록했다.

현재 MMDG-Bench는 분류(Classification) 및 회귀(Regression) 작업에 집중되어 있으며, 멀티모달 검색이나 생성 모델은 포함하지 않는다. 또한 강인성 평가가 두 가지 유형의 오염으로 제한되어 있어 더 다양한 환경적 변수와 적대적 공격에 대한 확장이 필요하다.