SNAP: 음성 딥페이크 탐지를 위한 화자 정보 제거 및 아티팩트 투영 기법

기존 음성 딥페이크 탐지 모델은 목소리 주인공의 특징에 너무 집착하여 정작 중요한 합성 흔적을 놓치는 경향이 있습니다. 이 논문은 수학적으로 화자의 개성을 분리해 제거함으로써 어떤 목소리라도 가짜인지 진짜인지를 정확하게 가려내는 효율적인 알고리즘을 제시하여 보안 시스템의 신뢰도를 높입니다.

음성 데이터는 화자의 정체성, 발화 내용, 녹음 환경 등이 뒤섞인 고차원 임베딩으로 표현된다. WavLM 같은 기존 모델은 화자 식별 능력이 뛰어나지만, 딥페이크 탐지에서는 이 '화자 정보'가 노이즈로 작용하여 모델이 특정 인물의 목소리에만 과적합되는 문제를 일으킨다.

SNAP은 전체 특징 공간을 화자 공간, 내용 공간, 합성 아티팩트 공간으로 분해할 수 있다는 가설에서 출발한다. 여러 화자의 음성 데이터에서 공통적인 화자 변동 방향을 주성분 분석(PCA)으로 찾아내어 '화자 부분 공간'을 정의한다.

이후 입력된 음성 벡터에서 이 화자 공간에 해당하는 성분을 수학적으로 완전히 제거하는 직교 투영을 수행한다. 이렇게 남은 잔차 특징에는 화자의 개성이 사라지고 가짜 음성 특유의 부자연스러운 흔적만 도드라지게 되어, 아주 단순한 분류기만으로도 높은 정확도를 얻을 수 있게 된다.

WavLM-Large 모델의 8번째와 22번째 레이어에서 특징을 추출하여 결합한다. 얕은 층은 음향적 세부 사항을, 깊은 층은 언어적 의미를 포착하며 이를 시간 축에 대해 평균 풀링하고 L2 정규화하여 고정된 크기의 벡터 z를 생성한다.

화자 부분 공간 S를 추정하기 위해 각 화자별 임베딩의 중심(Centroid)을 계산하고, 이 중심 행렬에 PCA를 적용하여 상위 K개의 고유 벡터를 추출한다. [화자별 중심 벡터 입력 → PCA 연산 → K차원의 화자 기저 벡터 출력 → 화자의 주요 변동 방향 의미]

추출된 기저를 이용해 직교 투영 행렬을 구성하고 입력 벡터 z에 곱해 화자 성분이 제거된 잔차 특징을 얻는다. [입력 벡터 z → 직교 투영 행렬 곱셈 → 잔차 벡터 출력 → 화자 정보가 소거되고 합성 아티팩트가 강조된 데이터 의미]

최종적으로 잔차 특징을 단일 레이어의 로지스틱 회귀 모델에 입력하여 진짜와 가짜를 분류한다. 학습 시에는 Binary Cross-Entropy 손실 함수를 사용하며, 화자 정보가 이미 제거되었으므로 복잡한 신경망 없이도 강력한 일반화 성능을 확보한다.

ASVspoof 2019 LA 벤치마크에서 EER 0.35%를 기록하여 기존 SSL 기반 최강 모델인 WavLM-ECAPA-TDNN(0.80%) 대비 약 56.25%의 성능 향상을 달성했다.

실제 환경의 소음과 채널 변동이 포함된 In-The-Wild 데이터셋에서도 EER 15.39%를 기록하며 베이스라인 모델(22.22%)보다 월등히 우수한 강건성을 입증했다.

학습에 사용되지 않은 새로운 TTS 모델인 CosyVoice2와 F5-TTS에 대한 제로샷 평가에서도 0.00%에 가까운 EER을 기록하며 특정 합성 방식에 의존하지 않는 보편적인 아티팩트 탐지 능력을 확인했다.

본 연구는 SSL 모델의 표현형 내에서 화자 얽힘이 딥페이크 탐지의 일반화 성능을 저해하는 핵심 요인임을 수학적으로 증명했다. 고차원 특징 공간 H를 S(화자), A(아티팩트), C(문맥)의 합으로 분해하는 가설을 기반으로 하며, S를 Nulling 함으로써 A의 변산성을 극대화하는 전략을 취한다.

PCA를 통한 부분 공간 추정 시 하이퍼파라미터 K를 5로 설정했을 때 최적의 성능을 보였으며, 이는 화자의 주요 특징이 소수의 주성분에 집중되어 있음을 시사한다. 분류기로 사용된 로지스틱 회귀는 단 2,049개의 파라미터만 사용하므로 수백만 개의 파라미터를 가진 기존 종단간 모델들보다 연산 효율성과 해석 가능성이 월등히 높다.