쌍방 대화에서 발화자 인지 시간적 집계 전략이 우울증 탐지 성능과 강건성에 미치는 영향: DEPOOL 벤치마크

음성 기반 우울증 판별에서 여러 짧은 오디오 세그먼트를 하나의 화자 수준 결정으로 압축하는 시간적 집계 단계는 진단 신호를 관통해 누적되는 특성을 포착해야 한다. 기존 연구는 대개 하나의 SSL 백본과 수동으로 선택한 한 층에 의존해 집계 기법의 상대적 우수성을 과대평가할 위험이 존재한다. 본 논문은 백본, 레이어 선택, 데이터셋을 동시에 변화시킨 통제된 그리드 실험을 통해 집계 아키텍처의 실제 강건성과 일반화 가능성을 규명함으로써 임상용 음성 파이프라인 설계의 신뢰성 판단 기준을 제공한다.

우선 문제 출발점은 임상 인터뷰를 여러 개의 짧은 오디오 클립으로 분할한 뒤 각 클립의 표현을 집계해 화자 수준의 우울증 판정을 내리는 과정에 있다. 기존 접근은 백본에서 특정 층을 임의로 골라 downstream에 전달하는 관행이 흔하며, 이 관행은 백본·층·집계 간 상호작용을 혼동시켜 집계 아키텍처의 실제 기여를 가리게 만든다. 본 논문은 모든 레이어의 가중 결합과 고정된 다운스트림 차원화를 통해 이 혼동을 제거하고 집계 단계만의 효과를 순수하게 비교할 수 있게 설계되었다.

데이터 전처리는 참가자 발화만을 추출하고 3초 윈도우, 1.5초 스트라이드로 슬라이딩해 고정 길이 클립을 생성한 다음 16 kHz로 표준화하고 48,000 샘플로 패딩 또는 크롭했다. 각 클립은 백본을 통해 계층별 히든 스테이트를 얻고 시간 평균 풀링으로 각 레이어의 D차원 벡터를 만들며, 학습 가능한 스칼라 wℓ의 소프트맥스 정규화로 레이어 가중 합을 계산해 256차원 클립 임베딩 zt를 얻는다. 집계부는 평균풀링, 통계풀링(평균·표준편차·최대·최소), self-attention 기반 가중합, Transformer 인코더(64차원 병목, 4헤드), Bidirectional GRU(각 방향 128), NetVLAD(K=2) 등 여섯 가지를 사용해 동일한 임베딩 열을 압축하고 마지막에 소형 MLP 분류기를 연결해 이항 분류를 수행했다.

단일 시드 평균 관점에서 코드 표준화된 비교 결과는 코퍼스별로 아키텍처 우열이 달라짐을 보였다; E-DAIC에서는 Mean Pooling이 평균 정확도와 F1에서 우위를 보였고 MODMA에서는 Bi-GRU with Attention이 모든 지표에서 우수한 평균을 보였다. 그러나 그리드 전체에서 33%의 구성은 테스트 단계에서 단일 클래스 예측으로 붕괴했고 Transformer 인코더는 75%의 붕괴율을 보이는 등 평균값은 붕괴 빈도를 가릴 수 있었다. 백본별 집계에서 WavLM-Base-Plus는 E-DAIC에서 안정적(평균 F1 0.601, 붕괴 0/6)을 보였고 Wav2Vec2-Robust는 가장 불안정해 많은 구성에서 붕괴(예: 5/6 또는 10/12)한 점이 핵심적인 발견이다.

전체 아키텍처는 고정된 SSL 백본에서 레이어별 히든 상태를 시간 평균풀링으로 추출한 뒤 학습 가능한 레이어 스칼라 가중치 wℓ를 소프트맥스로 정규화해 합산하고 선형 투영 Wp, bp를 적용해 256차원 클립 임베딩 zt를 생성하는 전처리 블록으로 구성된다. 각 집계 헤드는 zt 열과 유효성 마스크 m을 입력받아 화자 수준 벡터를 계산하며 Self-Attention Pooling은 W ∈ ℝ128×256, v ∈ ℝ128, tanh 활성화와 소프트맥스 정규화로 클립별 중요도 αt를 계산해 가중합을 만든다. 학습은 AdamW(lr=1e-3, weight decay=1e-4)와 클래스 가중치 크로스엔트로피로 40에폭 고정 시드 단일 실행을 기본 설정으로 사용했고 체크포인트는 검증 F1 기준으로 선택했으며 성능 평가는 정확도, F1, AUC, 민감도, 특이도, 그리고 U=(2·Sens+Spec)/3 임상 유용성 점수로 보고되었다.

연구는 계산 제약으로 그리드의 각 셀을 단일 랜덤 시드로만 학습해 시드 민감성을 완전히 분리하지 못했고 논문 자체에서 일부 복제 실험은 표준편차가 F1에서 0.42까지 도달함을 보고해 다중 시드 분석의 필요성을 명시했다. 체크포인트 선택 절차는 검증이 아닌 테스트 F1 기반으로 이루어져 있어 절대 성능 수치가 과대평가될 가능성이 존재하며 작은 테스트 세트 크기 때문에 단일 참가자 오분류가 결과를 크게 흔들 수 있다. 윤리적 관점에서 사용된 코퍼스는 진단 보조가 아닌 연구 목적으로 한정되어야 하며 실제 임상 적용 전에는 전향적 유효성 검증과 윤리·법적 승인 절차가 필요하다.