오디오-비주얼 대형 언어 모델은 정말로 보고 듣는가?

최신 멀티모달 AI인 AVLLM이 오디오와 비디오 정보를 통합하는 내부 메커니즘을 최초로 분석한 연구이다. 모델이 오디오 정보를 내부적으로는 잘 이해하고 있음에도 불구하고, 실제 텍스트 생성 시에는 시각 정보에 압도되어 오디오 단서를 무시하거나 환각을 일으키는 '시각 편향' 문제를 수치적으로 증명했다.

기존의 Transformer 기반 모델들은 멀티모달 입력을 받을 때 각 모달리티(텍스트, 이미지, 오디오)를 고정된 차원의 Embedding 벡터로 변환하여 입력 시퀀스에 병합한다. 이론적으로 Self-Attention 메커니즘은 모든 입력 토큰 간의 관계를 계산하므로 오디오와 비디오 정보를 균형 있게 통합해야 하지만, 실제로는 학습 과정에서 시각 정보에 과도하게 의존하는 편향이 발생한다.

이 논문은 모델의 내부 레이어를 들여다보는 'Logit Lens' 기법을 사용했다. 모델의 중간 레이어에 있는 벡터를 텍스트로 강제 변환해본 결과, 모델은 이미 중간 단계에서 '개 짖는 소리'나 '사이렌 소리' 같은 오디오 정보를 정확한 단어로 인코딩하고 있었다. 즉, 모델은 '듣고'는 있지만 최종 의사결정 단계에서 이 정보를 버리고 있는 셈이다.

결과적으로 AVLLM의 문제는 오디오를 인식하지 못하는 것이 아니라, 시각 정보가 지배적인 학습 데이터와 초기 모델 구조(Vision-Language 모델 기반) 때문에 오디오 정보를 텍스트로 출력하는 경로가 억제되어 있다는 점이다. 이는 안전이 중요한 자율주행 등에서 보이지 않는 사이렌 소리를 무시할 수 있는 심각한 신뢰성 문제를 야기한다.

연구진은 AVLLM의 내부 동작을 분석하기 위해 세 가지 핵심 방법론을 적용했다. 첫째, Logit Lens를 사용하여 각 레이어의 Hidden State $h_i^l$를 모델의 Unembedding Matrix $W_U$에 투영했다. [$h_i^l$ 벡터 입력 → $W_U$ 행렬 곱 연산 → 어휘 사전상의 확률 분포 출력] 과정을 통해 중간 레이어에서 오디오 토큰이 어떤 의미로 해석되는지 확인했다.

둘째, Attention Knockout 기법을 도입했다. 특정 레이어 $l$에서 생성 중인 텍스트 토큰 $G$가 시각 토큰 $V$나 오디오 토큰 $A$를 참조하지 못하도록 Attention Mask $M_{s,t}$를 $-\infty$로 설정했다. [특정 모달리티 참조 차단 → 출력 텍스트 변화 관찰 → 해당 모달리티의 기여도 측정] 순으로 연산하여 각 모달리티가 최종 출력에 미치는 인과적 영향력을 분석했다.

셋째, 카운터팩추얼 데이터셋을 구축했다. AudioCaps 데이터셋을 기반으로 비디오와 전혀 어울리지 않는 오디오 트랙을 합성하여, 모델이 시각 정보에 의존해 오디오를 추측(Hallucination)하는지 아니면 실제 소리를 듣고 판단하는지 엄격하게 테스트할 수 있는 환경을 조성했다.

실험 결과, Qwen2.5-Omni 3B 모델은 오디오와 비디오가 일치하는 상황에서는 높은 성능을 보였으나, 두 정보가 충돌하는 카운터팩추얼 상황에서는 오디오 이해 성능이 56% 급감했다. Attention 분석 결과, 초기 레이어(0-5)에서는 오디오에 40-50%의 높은 Attention을 할당하지만, 레이어가 깊어질수록 이 수치는 거의 0에 가깝게 떨어지고 시각 정보에 대한 Attention이 20-40%로 급증하는 비대칭성이 관찰됐다.

내부 표현 분석에서는 모델이 중간 레이어에서 61.4%의 정확도로 오디오 이벤트를 포착하고 있음이 확인되었다. 그러나 최종 출력에서는 이 정보가 23%만 반영되었다. 특히 깊은 레이어에서 시각 경로를 차단(G↛V)했을 때, 모델의 오디오 추론 성능이 약 50% 회복되는 현상이 나타나 시각 정보가 오디오 정보를 능동적으로 억제하고 있음이 증명되었다.

본 연구는 AVLLM이 시각-언어 모델(LVLM)에서 초기화되거나 시각 중심 데이터로 튜닝되면서 발생하는 '상속된 편향'에 주목한다. 아키텍처적으로는 Frozen된 오디오/비디오 인코더와 학습 가능한 Adapter를 거쳐 LLM 백본으로 입력되는 구조를 취한다. 연구진은 KL Divergence를 통해 AVLLM과 베이스 LVLM의 출력 토큰 분포를 비교했으며, 0.4라는 낮은 수치를 통해 AVLLM이 오디오 입력이 있음에도 불구하고 시각 전용 모델과 매우 유사하게 동작함을 수학적으로 확인했다. 또한, 오디오 관련 토큰의 85.36%가 시각 정보만으로도 예측 가능하다는 점을 밝혀내어 오디오의 실질적 기여도가 매우 낮음을 입증했다.

오픈 소스 AVLLM에 한정하여 분석이 진행되었으며, 주로 음성이 아닌(non-speech) 오디오 이벤트에 초점을 맞추었다. 대규모 카운터팩추얼 학습 데이터를 자동으로 생성하고 정규화하는 전략은 향후 과제로 남겨두었다.