ArtifactNet: 법과학적 잔차 물리학을 통한 AI 생성 음악 탐지

스트리밍 플랫폼에 매일 5만 곡 이상의 AI 생성 음악이 업로드되는 상황에서, 기존의 대규모 모델 기반 탐지 방식은 학습하지 않은 생성 모델에 대해 취약한 한계를 보였다. 이 논문은 모든 AI 음악 생성기가 공통으로 사용하는 신경 오디오 코덱의 물리적 제약인 RVQ를 활용하여, 매우 가벼운 모델로도 미학습 생성 모델까지 정확하게 잡아내는 새로운 패러다임을 제시한다.

대부분의 현대 AI 음악 생성기는 연속적인 오디오 신호를 이산적인 토큰으로 변환하기 위해 RVQ(Residual Vector Quantization)라는 기술을 사용한다. RVQ는 연속적인 벡터를 가장 가까운 코드북 벡터로 반복해서 근사하는 과정인데, 이 과정에서 원래 신호와 근사된 신호 사이에 '양자화 오차'라는 메울 수 없는 간극이 발생한다. 인간이 만든 음악은 이러한 인위적인 양자화 과정을 거치지 않으므로 물리적으로 매끄러운 특성을 유지한다.

논문은 인간의 음악으로만 학습된 음원 분리 모델이 AI 생성 음악을 처리할 때, 이 양자화 오차 때문에 '잔차(Residual)'가 비정상적으로 크게 발생한다는 점에 주목했다. 즉, 모델이 '이 소리는 인간의 음악 구조에서 나올 수 없는 불순물'이라고 판단하여 걸러낸 찌꺼기가 AI 음악에서 훨씬 더 구조적이고 강하게 나타나는 현상을 이용한다.

결과적으로 ArtifactNet은 음악의 스타일이나 장르를 학습하는 대신, 오디오 신호 내부에 숨겨진 코덱의 물리적 지문을 찾아낸다. 이를 통해 모델 크기를 기존 SOTA 대비 49배 줄이면서도, 한 번도 본 적 없는 새로운 AI 생성기의 음악까지 효과적으로 식별할 수 있게 되었다.

전체 시스템은 ArtifactUNet을 통한 잔차 추출, HPSS 기반 특징 계산, 그리고 경량 CNN 분류의 3단계로 구성된다. ArtifactUNet은 입력된 STFT 매그니튜드 스펙트로그램 X에 대해 r = m ⊙ X 연산을 수행하여 잔차 r을 추출한다. 여기서 m은 모델이 예측한 마스크이며, 0.5 · σ(z) 연산을 통해 [0, 0.5] 범위로 제한되어 잔차가 전체 신호 에너지의 절반을 넘지 않도록 물리적 제약을 가한다.

추출된 잔차는 HPSS(Harmonic-Percussive Source Separation)를 통해 조파(H)와 타악기(P) 성분으로 분리된다. 중앙값 필터링을 시간축과 주파수축에 적용하여 [입력 잔차 → 중앙값 필터링 → H/P 성분 분리] 과정을 거치며, 이를 통해 코덱 병목으로 인해 누출된 피치 정보와 트랜지언트 에너지를 포착한다. 여기에 시간적 미분값(Δ, Δ²)과 스펙트럼 플럭스를 결합하여 총 7채널의 특징 지도를 생성한다.

학습 전략으로는 코덱 인지 학습(Codec-Aware Training)을 도입했다. WAV, MP3, AAC, Opus 등 4가지 코덱 변형을 동시에 학습 데이터로 사용하여, 모델이 일반적인 손실 압축 아티팩트와 신경 코덱 고유의 RVQ 아티팩트를 구분할 수 있도록 유도했다. 이는 MP3 압축 파일에서 발생하던 높은 오탐률(FPR)을 98.7%에서 8.0% 수준으로 획기적으로 낮추는 핵심 기여를 했다.

ArtifactBench 제로샷 평가에서 ArtifactNet은 F1 스코어 0.9829를 기록하며 CLAM(0.7576)과 SpecTTTra(0.7713)를 크게 압도했다. 특히 기존 모델들이 미학습 생성기에 대해 성능이 급격히 저하되는 것과 달리, ArtifactNet은 22개의 다양한 생성 모델에 대해 고른 탐지 성능을 유지했다. 오탐률(FPR) 측면에서도 1.49%를 기록하여 CLAM의 69.26% 대비 압도적인 신뢰성을 보였다.

코덱 견고성 실험에서는 MP3 128kbps부터 Opus 192kbps까지 다양한 압축 환경에서도 탐지 성능 변화가 ±1.1pp 이내로 유지됨을 확인했다. 이는 코덱 인지 학습을 통해 모델이 압축 방식에 무관한 보편적인 법과학적 특징을 학습했음을 증명한다.

물리적 증거 분석 결과, AI 생성 음악의 잔차 유효 대역폭은 평균 291Hz인 반면 인간의 음악은 1,996Hz로 나타났다. 약 6.9배의 대역폭 차이는 RVQ 병목 현상이 고주파 성분의 미세 구조를 파괴한다는 가설을 수치적으로 뒷받침하며, 생성 모델의 아키텍처가 달라도 이 수치는 200Hz 근처에서 일정하게 수렴하는 경향을 보였다.

ArtifactNet은 3.6M 파라미터의 ArtifactUNet과 0.4M 파라미터의 ResidualCNN7ch로 구성된 하이브리드 구조다. ArtifactUNet은 GatedResidualBlock을 보틀넥으로 사용하는 U-Net 아키텍처를 따르며, 직접적인 잔차 생성이 아닌 입력 스펙트로그램에 대한 승법 마스크(Multiplicative Mask)를 예측함으로써 항등 매핑(Identity Mapping) 지름길 문제를 방지한다.

핵심 기술 차별점은 '법과학적 잔차 증폭' 현상을 이용한다는 점이다. 인간 음악으로 사전 학습된 Demucs v4 모델을 교사(Teacher)로 삼아 L1 손실과 다중 해상도 STFT 손실을 최소화하도록 학습된다. 이 과정에서 42M 파라미터의 Demucs 성능을 3.6M의 경량 모델로 전이시키는 지식 증류 기법이 핵심적인 역할을 수행한다.

구현 측면에서 4초 단위의 세그먼트를 입력으로 받으며, 최종 판정은 곡 전체 세그먼트 확률의 중앙값(Median)을 취하는 방식을 사용한다. 이는 국소적인 노이즈나 무음 구간으로 인한 오판을 방지하고 전체적인 판정 안정성을 높인다. 또한 ONNX 포맷으로 컴파일된 빌드를 제공하여 다양한 환경에서 추론 효율성을 극대화했다.

본 모델은 44.1kHz의 고대역폭 잔차 분석에 의존하므로, 16kHz 이하로 샘플링 레이트가 낮춰진 오디오에서는 법과학적 신호가 감쇄되어 탐지 성능이 저하될 수 있다. 또한 최신 Udio 모델의 일부 조용한 구간이나 전이 구간에서는 잔차 특성이 실제 음악과 유사해지는 경향이 있어 탐지율(TPR)이 87% 수준으로 상대적으로 낮게 나타났다.