오디오-언어 모델은 정말 듣고 있는가? 적응형 오디오 스티어링을 위한 오디오 전문 헤드 연구

오디오-언어 모델이 실제 소리보다 텍스트의 패턴에 더 의존하여 잘못된 답을 내놓는 '텍스트 우세' 문제를 해결합니다. 모델 내부에서 오디오 처리를 담당하는 특정 부위를 찾아내어 그 신호를 강화함으로써, 추가 학습 없이도 모델이 소리를 더 정확하게 듣고 판단하게 만듭니다.

Transformer의 Attention Mechanism은 입력된 여러 정보 중 어디에 집중할지 결정한다. 하지만 대규모 언어 모델 기반의 오디오 모델은 학습 과정에서 압도적으로 많은 텍스트 데이터를 접했기 때문에, 오디오 신호가 명확하더라도 익숙한 텍스트 패턴인 언어적 사전 지식을 따라가려는 관성이 강하다. 이 논문은 모델 내부의 수많은 어텐션 헤드 중 오디오 정보를 처리하는 데 특화된 소수의 전문가 헤드가 존재한다는 점에 착안한다. 이 헤드들이 오디오 토큰에 더 많은 가중치를 할당할 때 모델이 정답을 맞힐 확률이 높아진다는 사실을 통계적으로 증명한다. 해결책으로 추론 과정에서 이 전문가 헤드들이 위치한 레이어의 신호를 인위적으로 강화하는 스티어링 기법을 적용한다. 이는 마치 모델에게 지금 들어오는 소리에 더 귀를 기울여라고 직접 명령을 내리는 것과 같은 효과를 주어, 텍스트의 간섭을 줄이고 오디오에 기반한 정확한 판단을 내리게 돕는다.

오디오 전문 헤드를 찾기 위해 캘리브레이션 데이터셋에서 각 헤드의 오디오 어텐션 질량을 측정한다. [마지막 프롬프트 토큰에서 오디오 토큰들로 향하는 어텐션 가중치 합산] → [모델의 정답 여부와 피어슨 상관계수 계산] → [상위 K개 헤드 선정] → [이 헤드들이 오디오 처리에 핵심적인 역할을 수행함을 의미함]. 스티어링 방향을 설정하기 위해 동일한 입력에 대해 실제 오디오를 넣은 경우와 무음(Zero-padding)을 넣은 경우의 두 번의 순전파를 실행한다. [오디오 입력 시의 잔차 스트림 값에서 무음 입력 시의 값을 뺌] → [벡터 차이 계산] → [스티어링 방향 벡터 생성] → [오디오 정보가 포함됨으로써 변화하는 내부 표현의 방향을 정의함]. 최종적으로 추론 시점에 선정된 레이어의 활성화 값에 스티어링 벡터를 더한다. [원래의 잔차 스트림 값에 강도 beta와 방향 벡터의 곱을 더함] → [수정된 활성화 값 생성] → [이 값을 다음 레이어로 전달] → [모델이 오디오 특징을 더 강하게 반영하여 최종 텍스트를 생성함].

Qwen2-Audio-7B-Instruct 모델을 대상으로 한 MMAU 벤치마크에서 기본 성능 49.20%를 57.25%로 끌어올려 8.05%p의 성능 향상을 달성했다. 특히 음성(Speech) 영역에서 14.1%p라는 가장 큰 폭의 개선을 보였다. 강화학습으로 최적화된 R1-AQA 모델에서도 64.50%에서 69.40%로 4.90%p 향상되었으며, 이는 이미 고도화된 모델에서도 텍스트 우세 현상이 여전히 존재하며 제안된 기법이 이를 효과적으로 완화할 수 있음을 시사한다. Ablation Study를 통해 무작위로 선택된 헤드를 스티어링할 때보다 연구진이 식별한 전문가 헤드를 타겟팅했을 때 성능 향상이 훨씬 뚜렷함을 확인하여 특정 헤드의 기능적 전문성을 입증했다.

LALM 아키텍처는 오디오 인코더의 출력을 LLM의 임베딩 공간으로 투영하여 텍스트 토큰과 함께 처리하는 방식을 취한다. 이때 발생하는 텍스트 우세 문제를 해결하기 위해 메커니즘적 해석 가능성 프레임워크를 도입했다. 스티어링 벡터는 전문가 헤드가 포함된 레이어 집합의 잔차 스트림 차이를 가중 평균하여 구한다. 각 레이어에 포함된 전문가 헤드의 밀도에 따라 가중치를 부여함으로써 정보가 집중된 레이어의 영향력을 높였다. 추론 시 파라미터 업데이트가 전혀 필요 없는 Inference-time Intervention 방식을 채택하여 실용성을 확보했다. 이는 모델의 가중치를 고정한 채 내부 활성화 공간에서의 조작만으로 행동을 제어하는 기법이다.

스티어링 강도 파라미터인 beta 값에 따라 성능이 민감하게 반응하며, 특정 임계값을 넘어서면 오히려 성능이 저하되는 오버 스티어링 현상이 관찰되었다. 또한 매 추론마다 오디오와 무음 입력을 각각 처리해야 하는 두 번의 순전파 과정이 필요하여 계산 비용이 증가하는 측면이 있다.