LLM 백본의 청각 지식이 오디오 언어 모델 형성에 미치는 영향: 종합 평가

오디오를 직접 듣지 못하는 텍스트 기반 LLM이 소리에 대해 얼마나 알고 있는지, 그리고 이 지식이 실제 오디오 이해 모델(LALM)의 성능을 어떻게 좌우하는지 최초로 입증했다. 개발자들이 오디오 AI를 구축할 때 어떤 언어 모델을 백본으로 선택해야 최적의 성능을 낼 수 있는지에 대한 실질적인 벤치마크를 제공한다.

LLM은 텍스트로만 학습하지만, 방대한 말뭉치 속에 포함된 '바이올린 소리는 따뜻하다'나 '사이렌 소리는 점점 커진다'와 같은 묘사를 통해 간접적인 청각 지식을 임베딩 공간에 축적한다. 기존 연구들은 오디오 인코더의 성능에만 집중했으나, 본 논문은 이 '글로 배운 소리 지식'이 오디오 신호를 해석하는 인지적 기반이 된다는 점에 주목한다.

마치 악보를 읽어본 적은 있지만 소리를 들어본 적 없는 사람이 악보의 규칙을 통해 음악을 이해하듯, LLM은 텍스트 간의 관계를 통해 소리의 특성을 파악한다. 이 지식이 풍부한 모델일수록 오디오 인코더가 보내주는 신호를 기존의 언어적 지식과 더 정교하게 연결할 수 있다.

결과적으로 오디오 AI의 성능은 단순히 소리를 잘 듣는 인코더뿐만 아니라, 그 소리를 해석할 '두뇌'인 LLM이 얼마나 풍부한 청각적 개념을 미리 갖추고 있느냐에 따라 결정된다. 이는 멀티모달 학습에서 텍스트 백본의 사전 지식이 성능의 병목 현상을 해결하는 핵심 열쇠임을 시사한다.

AKB-2000 직접 프로빙은 음악 이론, 소리 발생원, 음성학적 특징 등 6개 영역에 대해 4지 선다형 질문을 던져 LLM이 텍스트만으로 보유한 청각 지식의 폭과 깊이를 측정한다. 각 질문은 전문가의 검수를 거쳐 정답의 명확성을 확보했다.

Cascade 평가는 오디오 벤치마크의 소리를 Gemini-2.5-Pro와 같은 강력한 캡셔너를 통해 상세한 텍스트 묘사로 변환한다. LLM은 실제 오디오 대신 이 텍스트 설명을 입력받아 문제를 해결하며, 이를 통해 오디오 인코더의 영향을 배제한 LLM 고유의 청각 추론 능력을 평가한다.

Audio-Grounded 평가는 DeSTA 프레임워크를 기반으로 LLM을 실제 LALM으로 파인튜닝한다. Whisper-large-v3 인코더와 6개 레이어의 Q-Former를 사용하여 오디오 특징을 LLM의 입력 공간으로 투영한다. 학습 시 LLM과 인코더는 고정하고 커넥터만 학습시켜, LLM이 이미 가진 지식을 오디오 신호와 연결하는 능력만을 엄격하게 테스트한다.

오픈 웨이트 모델 중 Qwen3-14B와 Phi-4-14B가 AKB-2000에서 85% 이상의 정확도를 기록하며 최상위권을 차지했다. 특히 Qwen 가문은 동일한 파라미터 규모의 Llama 가문 대비 모든 평가 지표에서 우위를 보였다.

텍스트 기반 평가 점수와 실제 오디오 입력 평가 점수 사이의 피어슨 상관계수는 0.71에서 0.82로 나타났다. 이는 텍스트 전용 벤치마크가 고비용의 멀티모달 학습 이전에 백본 모델을 선정하는 신뢰할 수 있는 지표가 될 수 있음을 의미한다.

음성학(Phonetic) 카테고리는 모든 모델에서 가장 낮은 점수를 기록했다. 특히 압운(Rhyme)이나 동음이의어 판단 과제에서 LLM들은 체계적으로 실패했으며, 이는 텍스트 전용 사전 학습이 소리의 물리적 특성을 완전히 이해하는 데 한계가 있음을 보여준다.

LALM 구현을 위해 Whisper-large-v3를 오디오 인코더로, 6개 레이어의 Q-Former를 모달리티 커넥터로 사용한다. LLM의 파라미터는 4B에서 14B 사이의 다양한 오픈 웨이트 모델을 비교군으로 설정했다.

학습 전략으로 DeSTA 프레임워크의 자기 증류(Self-distillation) 방식을 채택했다. 1단계에서는 LLM이 텍스트 메타데이터를 읽고 응답을 생성하며, 2단계에서는 동일한 응답을 오디오 입력을 통해 재현하도록 커넥터를 최적화한다. 이 과정에서 LLM과 인코더는 동결(freeze)된다.

학습 데이터는 DeSTA-AQA500K를 사용했으며, 여기에는 약 877시간 분량의 음성, 소리 이벤트, 음악 데이터가 포함되어 있다. 평가 시에는 모델의 응답 형식이 일정하지 않을 수 있음을 고려하여 GPT-4o를 판정관(judge)으로 활용해 정답 여부를 검증했다.

LLM이 텍스트 전용 사전 학습을 통해 풍부한 의미론적 지식을 습득하지만, 소리의 물리적 실체와 직접 연결되지 않아 음운론적 추론(발음, 압운 등)에서 근본적인 한계를 보인다는 점을 명시했다.