오디오 LLM에서 무해한 파인튜닝이 안전 정렬을 파괴하는 현상 분석

오디오 대형 언어 모델(Audio LLM)을 일반적인 무해한 데이터로 파인튜닝하는 과정에서 모델의 안전 정렬이 심각하게 훼손될 수 있음을 최초로 입증했다. 특히 텍스트와 달리 오디오는 의미적 내용뿐만 아니라 음향적 특성만으로도 안전 경계가 무너질 수 있어, 향후 멀티모달 모델 배포 시 새로운 데이터 검수 기준이 필요함을 시사한다.

기존의 언어 모델은 텍스트 데이터에 대해 유해한 요청을 거절하도록 안전 정렬(Safety Alignment)이 되어 있다. 하지만 오디오 LLM은 텍스트로 정렬된 지식을 오디오 입력으로 전이하여 사용하는데, 오디오 인코더는 파인튜닝 시 동결(Frozen)되어 있어 입력 표상 자체는 변하지 않지만 LLM 내부의 결정 경계가 이동하면서 기존의 거절 메커니즘이 무력화된다.

이 논문은 임베딩 공간(Embedding Space)이라는 개념을 통해 이 문제를 설명한다. 무해한 오디오 샘플이라도 임베딩 공간에서 유해한 샘플과 가깝게 위치하면, 모델은 이를 학습하는 과정에서 유해한 영역에 대한 거절 반응을 점진적으로 억제하게 된다. 이는 마치 특정 목소리 톤이나 단어 조합이 유해한 질문과 유사한 수학적 위치에 있다는 이유만으로 모델의 방어 기제를 해제하는 것과 같다.

결과적으로 파인튜닝을 거친 모델은 유해한 오디오 입력을 받았을 때, 이전에는 활성화되었던 '거절 회로(Refusal Circuit)'가 더 이상 작동하지 않게 된다. 이는 모델이 유해성을 감지하지 못해서가 아니라, 인코더가 전달하는 유해한 표상을 LLM의 후속 레이어에서 의도적으로 무시하거나 순응하도록 가중치가 변질되었기 때문이다.

연구진은 무해한 데이터셋(D_benign)에서 유해한 벤치마크(D_harmful)와 임베딩 공간 내 거리가 가장 가까운 상위 k% 샘플을 추출하여 파인튜닝을 진행했다. 임베딩 추출을 위해 모델 내부 인코더뿐만 아니라 Sentence-BERT(의미), WavLM(음향), Whisper-V3(혼합) 등 외부 참조 인코더를 사용하여 취약성 축을 분리했다.

거리 계산은 코사인 거리(Cosine Distance)를 사용했다. 각 무해한 샘플 i에 대해 모든 유해 샘플 j와의 거리 d(i, j) = 1 - (e_i · e_j / ||e_i|| ||e_j||)를 구하고, 그중 최솟값을 해당 샘플의 근접도 지표로 삼았다. [무해/유해 샘플의 벡터 내적 계산 → 벡터 크기로 정규화 → 1에서 차감 → 두 벡터가 유사할수록 0에 가까운 값 도출]

메커니즘 분석을 위해 '거절 방향 투영(Refusal Direction Projection)' 기법을 적용했다. 모델이 거절 응답을 할 때와 순응 응답을 할 때의 활성화 값 차이를 계산하여 거절 벡터를 추출하고, 각 레이어의 은닉 상태가 이 벡터 방향으로 얼마나 정렬되는지 측정했다. [거절/순응 시의 활성화 평균 차이 계산 → 단위 벡터화 → 특정 입력의 은닉 상태와 내적 → 해당 레이어의 거절 의지 강도 수치화]

Kimi-Audio 모델의 경우, 의미적으로 유해 샘플과 가까운 무해 데이터를 25%만 학습시켜도 AdvBench 기준 JSR이 4.62%에서 87.12%로 폭증했다. 반면 무작위로 샘플링된 데이터를 학습했을 때는 JSR이 오히려 감소하거나 소폭 상승에 그쳐, 임베딩 근접성이 안전성 파괴의 핵심 지표임을 입증했다.

아키텍처별로 취약점이 다르게 나타났다. Audio Flamingo 3(AF3)는 오디오 파인튜닝이 텍스트보다 훨씬 위험한 반면, Qwen2.5-Omni는 텍스트 파인튜닝이 오디오보다 더 큰 안전성 저하를 일으켰다. 이는 AF3의 프로젝터가 오디오를 텍스트와 분리된 영역으로 압축하여 안전 정렬이 미치지 않는 사각지대를 만들기 때문이다.

제시된 방어책인 'Distant Filtering'(유해 샘플과 가장 먼 데이터만 학습)을 적용했을 때, AF3 모델은 모든 벤치마크에서 JSR을 한 자릿수 이하로 유지하며 안전성을 보존했다. 또한 추론 시 간단한 텍스트 시스템 프롬프트를 추가하는 것만으로도 파인튜닝된 모델의 JSR을 0%에 가깝게 복구할 수 있었다.

본 연구는 Audio LLM의 구조적 특징인 '동결된 인코더'와 '텍스트 기반 안전 정렬의 상속'이 어떻게 취약점으로 작용하는지 분석했다. AF3와 같은 모델은 MLP 프로젝터를 통해 오디오 특징을 압축하는데, 이 과정에서 생성된 오디오 표상이 텍스트 정렬 시 학습된 거절 경계와 멀리 떨어져 위치하게 되어 파인튜닝 시 쉽게 무너진다.

반면 Qwen2.5-Omni는 오디오 표상을 LLM에 직접 전달하는 'Pass-through' 구조를 사용하여 오디오와 텍스트 표상이 겹치는 영역이 많다. 이 때문에 텍스트 파인튜닝이 오디오 정렬까지 직접적으로 간섭하여 더 큰 피해를 입히는 역설적인 현상이 발생한다. 이는 멀티모달 정렬이 단순히 데이터의 양 문제가 아니라 표현 공간의 기하학적 구조에 의존함을 보여준다.

실험 결과, 파인튜닝은 모델의 지식이나 일반적인 추론 능력을 크게 저하시키지 않으면서도(BBH 벤치마크 점수 유지), 특정 레이어(L20-L26)에서 발생하는 거절 신호만을 선택적으로 억제하는 것으로 나타났다. 이는 안전 정렬이 모델의 깊은 층에서 형성된 취약한 회로에 의존하고 있음을 시사한다.

본 연구는 영어 단일 턴 대화 및 음성 QA 데이터셋에 국한되어 있으며, 음악이나 환경음과 같은 비음성 오디오 데이터에서의 일반화 여부는 확인되지 않았다. 또한 인코더를 동결한 상태에서의 실험 결과이므로, 인코더까지 함께 학습하는 전신 파인튜닝(Full Fine-tuning) 시의 영향은 추가 연구가 필요하다.