비언어적 발성에서의 화자 정체성: 조건부 증류와 Mixture of Experts 기반 접근

TTS·VC 시스템이 웃음·기침 등 비언어적 발성을 생성할 때 화자 정체성 일관성 검증이 필요하다. 기존 SV 모델은 NVV에서 성능 저하가 심하고, NVV로 파인튜닝하면 modal speech 성능이 크게 손실된다. 본 연구는 NVV 전반에 걸친 실험과 함께 도메인 분리와 조건부 증류로 이 문제를 해결함으로써 실용적 자동화 검증 가능성을 제공한다.

출발점과 기존 한계: 현재 강력한 SV 파이프라인은 SSL(front-end) + ECAPA-TDNN(back-end) 조합을 사용해 modal speech에서 우수한 성능을 보인다. 그러나 NVV는 음소 기반 구조가 약하거나 없고 스펙트럼·시간적 특성이 다양해 동일한 표현 공간에서 처리하면 same-speaker와 different-speaker score 분포가 크게 겹쳐 검증 성능이 급락한다(Zero-shot NvS EER 38.93%). 또한, NVV 데이터로 단순 파인튜닝하면 modal speech 성능이 파괴되는 catastrophic forgetting이 관찰된다.

전체 접근과 핵심 아이디어: 입력 오디오에서 frozen Data2Vec로 프레임 단위 연속 표현을 추출하고, 그 출력을 ECAPA-TDNN으로 전달해 최종 스피커 임베딩을 생성한다. 중간에 Inter-Layer Residual MoE(IR-MoE)를 삽입해 Transformer 블록 후 각 단계에서 전문가(expert) 어댑터를 적용하고, 라우터는 TopK(softmax(W_g h), k)로 k=2 선택을 수행한다. 최종 임베딩은 AAM-Softmax, MoE 관련 제약(ℒ_MoE), conditional distillation(ℒ_Dist), supervised contrastive(ℒ_SupCon)을 결합한 다중 목적 함수로 학습된다.

메인 벤치마크 성능: Table 1 기준으로 zero-shot wavlm-base-plus-sv는 SvS EER 5.60%이나 NvS/NvN EER는 각각 38.93%/39.13%로 큰 성능 저하를 보였다. Data2Vec+ECAPA-TDNN는 단독 최적 baseline으로 NvS EER 23.33%를 기록했다. 제안 방법(IR-MoE + conditional distillation)은 NvS EER을 22.66%로 낮추고 SvS EER을 9.24%로 회복했다.

전체 아키텍처 구조: 입력 오디오 → frozen Data2Vec(프레임 표현) → IR-MoE 어댑터(각 Transformer 블록 후 삽입) 또는 Post-Fusion MoE(가중 합 후 단일 MoE) → ECAPA-TDNN(프레임 집계, 192-d 임베딩) → AAM-Softmax 및 SupCon 기반 학습. MoE는 per-frame routing을 수행해 도메인별 전문가로 분기한다.

논문에서 언급된 한계는 다음과 같다. (1) SvS 성능은 여전히 VoxCeleb2로 학습된 큰 모델(예: wavlm-base-plus-sv, SvS EER 5.60%)보다 낮으며, 이 격차를 데이터 규모 차이(NonverbalTTS 17시간 vs 대규모 공개 코퍼스)로 설명하고 있다. (2) 데이터 불균형(Breath가 전체의 67% 이상)과 전체 훈련 시간의 제한으로 인해 전문가 수를 무한정 늘릴 수 없으며, 전문가 수가 증가할 경우 특정 전문가 당 샘플 부족으로 NvS 성능이 악화될 수 있다.