시각이 소리에 말을 건네다: 영상-capable 다중모달 모델의 음향-시각 정합에 대한 THUD 진단과 정렬

비디오에서 소리를 이해하는 능력이 실제로는 시각적 신호에 의한 shortcut일 수 있음을 보여준다. THUD 인터벤션과 두 단계 정렬로 시각 우선 숏컷을 해체하고, 음향 존재 여부와 시간 정합성, 소리-시각의 물리적 일치를 검증하는 방법을 제시한다.

[단락 1] 시각 priors에 의해 음향-시각 정합이 좌우될 수 있음을 정의하고, 이를 Clever Hans 현상으로 명명한다. 영상에서 보이는 사건이 실제 소리를 대신 예측하도록 만드는 단순한 시각-음향 동시성에 의존하는 경향이 실질적 음향 검증을 방해한다.

[단락 2] THUD는 v = (x1:T, a1:T) 형식의 비디오를 대상으로 Shift, Mute, Swap 세 가지 물리적 개입을 적용해 counterfactual 비디오를 생성한다. 교정된 이벤트-타임스탬프(z_i) 라벨은 Gemini를 기반으로 하되, 프롬프트-단위 검증으로 GPT/Claude가 시각 타임스탬프를 재확인한다. 선호 쌍 D_pref를 구성해 chosen(오디오-시각 정합 확인)/rejected(시각적 유망성)로 학습한다.

[단락 3] 표 1에서 Orig 대비 Shift/Mute/Swap에서 큰 하락이 관찰되며 Avg Gap이 모델별로 크게 차이난다. 예를 들어 MiniCPM-o-4.5와 MiMo-V2.5는 80.7%와 78.4%의 Avg Gap를 보인다. 그림 3은 모든 모델에서 Mute Hallucination과 Swap False-Match가 두드러져, 음향 증거를 확인하기보다 시각 priors에 의존하는 경향을 보여준다. Qwen3-Omni의 Shift에서 원본 Sync 정확도가 1.4%로 급감하는 등 시간 정합에 취약함이 나타난다.

각 모듈의 세부 구현은 본문에 상세히 기술되며, THUD 파이프라인은 Intervention 데이터 소스(SFT + FV-D/FV-AVQA 등)와 일반 비디오 데이터를 혼합하는 2단계 학습 파이프라인으로 구성된다. 데이터 생성은 Oops 데이터셋에서 선발된 사례를 바탕으로 시각/오디오 타임스탬프의 합의 기준을 적용하고, 선택/반대 응답 쌍을 구성해 음향 검증 중심의 방향으로 모델을 학습시킨다. 실험 설정은 8 GPU H200/H100에서 진행되며 SFT는 약 6시간, 10K 예제 DPO는 약 20시간이 소요된다.