계층별 음성 기반 다국어 우울증 탐지와 지도형 대조 정렬(CLeaD) 분석

다국어 환경에서 음성 기반 우울증 선별은 임상 도메인 차이와 화자 고유성 때문에 성능이 크게 저하될 수 있으며, 특히 만다린에서는 어조 특성이 우울 관련 운율 신호를 가릴 우려가 있다. 이 논문은 감독형 대조 정렬을 이용해 서로 다른 언어의 임베딩을 동일한 임상 구획으로 정렬하는 방식이 언어 분리성을 낮추고 임상 군집 구조를 강화한다는 방향성을 실험적으로 제시했다. 또한 세그먼트 수준의 무작위 분할이 화자 정체성 유출로 이어져 성능을 크게 부풀린다는 사실을 계량적으로 밝혀 벤치마크 해석의 신뢰도를 바로잡았다.

음성 SSL 모델의 중간 계층은 발화의 운율·프로소디적 특징을 비교적 언어 중립적으로 포착하여 우울 관련 신호를 담고 있다. 이러한 계층 표현을 동일 임상 레이블을 기준으로 대조학습하면 언어별 분리성이 줄고 임상 군집성이 강화되어 다국어 전이 가능성이 높아진다. CLeaD는 WavLM에서 중간 계층을 평균 풀링한 뒤 비선형 투영으로 사상하여 ℓ2 정규화된 128차원 공간에서 SupCon 손실로 같은 레이블의 서로 다른 언어 샘플을 당긴다. 이 과정은 target-language 라벨이나 파인튜닝 없이도 배치 내 교차언어 양성쌍을 통해 정렬 그래디언트를 발생시키며, 분류 헤드는 같은 투영을 입력으로 사용해 교차엔트로피로 결정 경계를 보완한다. 모델 스케일이 클수록 사전학습 데이터의 언어적 편향이 심화되어 깊은 층에서 언어 특이적 표현이 강화되는 경향이 관찰되었다. 따라서 중간 계층 선택과 SupCon 기반 정렬의 조합이 다국어 임상 전이에서 핵심이며, 이는 단순한 분류기 복잡도 증가만으로는 달성되지 않는 성질이다.

데이터 전처리는 모든 오디오를 16 kHz 단일 채널로 리샘플링하고 참가자 발화만을 분리하여 3초 세그먼트(50% 오버랩)를 생성한 뒤 각 세그먼트에 화자 레벨의 이진 우울 라벨을 부여했다. 화자 독립 분할은 participant ID를 그룹화 변수로 사용하여 동일 화자의 세그먼트가 학습·검증·테스트에 중복되지 않도록 하였으며, 이는 화자 유출을 방지해 실제 전이 성능을 엄밀하게 측정하도록 설계되었다. 특징 추출은 동결된 WavLM-Base-Plus(12층, d=768)와 WavLM-Large(24층, d=1024)에서 특정 중간층의 프레임별 히든스테이트를 평균 풀링하여 문장 수준 임베딩을 얻는 방식으로 이루어졌다. 각 계층에서 얻은 임베딩은 투영 헤드(𝐖1: 256×d, ReLU, BN, 드롭아웃 0.3, 𝐖2:128×256)로 매핑되어 ℓ2 정규화된 128차원 벡터 𝐳를 생성했다. 학습 목적함수는 supervised contrastive loss와 클래스 가중 cross-entropy를 λ=0.5로 가중 합한 형태로, SupCon은 동일 임상 레이블을 갖는 교차언어 양성쌍을 배치 내에서 끌어당기고 온도 τ=0.1로 샤프니스 조절을 수행했다. 혼합언어 배치 구성은 E-DAIC의 샘플을 서브샘플링해 MODMA와 균형을 맞추어 각 배치마다 교차언어 양성쌍이 포함되도록 구현되었으며, CLeaD w/o SupCon은 λ=0으로 대조항을 제거해 비교 실험을 수행했다.

모노링구얼 조건에서 WavLM-Large는 영어(EN→EN)에서 Base-Plus보다 우수한 성능을 보였으나 만다린(ZH→ZH)에서는 전반적으로 낮은 성능을 기록하여 스케일 반전 현상이 관찰되었다. 혼합훈련(MIX→ZH)에서 Base-Plus의 CLeaD는 레이어 8에서 세그먼트 F1 0.561, Dep-Rec 4/5를 기록하여 동일 조건의 다른 모델 대비 스피커 수준 민감도에서 이점을 보였다. LOSO 평가(52 MODMA 스피커)에서는 Base-Plus 레이어 7에서 CLeaD의 스피커 F1이 0.640으로 CLeaD w/o SupCon의 0.622를 상회했으나 최종적으로 SVM-Linear가 0.762로 가장 높은 Spk F1를 보였다. 또한 화자 유출 통제 실험에서 세그먼트 수준 분할이 만다린 F1을 0.628→0.856 혹은 0.954로 크게 부풀렸다는 사실이 재현되어 평가 프로토콜이 성능 수치에 미치는 큰 영향을 계량적으로 확인했다.

아키텍처는 동결된 WavLM 임베딩(계층별 평균 풀링)을 입력으로 두 개의 헤드로 분기된다. 하나는 256→128 차원 투영 헤드로서 배치 정규화, ReLU, 드롭아웃을 포함하고 출력은 ℓ2 정규화되어 SupCon 손실의 입력이 된다. 다른 하나는 128→64→2 구조의 분류 MLP로서 드롭아웃을 사이에 두고 클래스 가중 cross-entropy를 계산한다. SupCon 손실은 배치 내에서 동일 임상 레이블을 가지는 양성 집합 P(i)를 정의하고, 각 앵커 𝐳_i에 대해 τ=0.1 온도로 정규화된 내적을 사용하여 양성 쌍의 로그-정규화 확률을 최대화한다. 최종 목적함수는 ℒ = λℒ_SupCon + (1−λ)ℒ_CE이며 본 실험에서는 λ=0.5로 설정되어 정렬과 분류 손실이 동등하게 기여하도록 조정되었다. 학습 설정은 AdamW(learning rate=1e-3, weight decay=1e-4), 에폭 100, 배치 32로 고정되었고 WavLM 가중치는 동결되어 계층 표현의 특성 차이를 정량화할 수 있도록 했다. 하이퍼파라미터 민감도 분석에서 τ와 λ 조합이 Dep-Rec와 F1에 유의한 영향을 주었으며 τ=0.1, λ=0.5 조합이 Layer 7에서 근최적 성능을 보였다.

테스트 집합이 작아(예: MODMA held-out에 우울 스피커 5명) Dep-Rec 변화가 20포인트 단위로 크게 나타나므로 일부 결과는 통계적 불확실성이 크다. 연구는 단일 랜덤 시드와 특정 두 가지 WavLM 변형에 제한되어 있어 재현성과 일반화성 검증을 위해 다중 시드 및 추가 백본 실험이 필요하다. 또한 E-DAIC와 MODMA 간의 인구통계·녹음 조건·평가 도구 차이가 존재하므로 언어 효과와 코퍼스 효과를 완전히 분리하지 못한 한계가 명시적으로 보고되었다.