대형 파운데이션 모델에서의 시청각 지능: 종합 서베이

인간의 지각은 본질적으로 시각과 청각이 결합된 형태이며, 진정한 AI 구현을 위해서는 이 두 양식의 통합이 필수적입니다. 이 논문은 파편화되어 있던 시청각 지능(AVI) 연구를 하나의 체계적인 프레임워크로 통합하여, 향후 멀티모달 모델이 나아가야 할 방향과 기술적 토대를 제시합니다.

기존의 AI 모델은 시각이나 청각 중 하나의 양식에 집중하거나, 두 정보를 단순히 결합하는 수준에 머물렀다. 이는 Transformer 아키텍처가 각 토큰 간의 관계를 계산할 때 모달리티 간의 고유한 특성과 시간적 정렬을 충분히 반영하지 못했기 때문이다. 특히 긴 비디오나 복잡한 오디오 신호를 처리할 때 연산 비용이 급증하고 정보의 손실이 발생하는 한계가 있었다.

이 논문은 이러한 한계를 극복하기 위해 시각과 청각 신호를 공통된 토큰 공간으로 변환하는 '통합 토큰화'와, 두 신호 사이의 인과 관계를 학습하는 '교차 모달 정렬'을 핵심 원리로 제시한다. 이는 마치 인간이 소리를 듣고 즉각적으로 그 근원지를 시각적으로 찾아내는 것과 같은 원리를 딥러닝 구조에 이식하는 것이다.

결과적으로 AVI 파운데이션 모델은 단순한 데이터 상관관계 학습을 넘어, 물리적 법칙과 인과 관계를 이해하는 '세계 모델'로 진화하게 된다. 이를 통해 AI는 더 정확한 상황 인지뿐만 아니라, 소리에 맞춰 자연스럽게 움직이는 영상을 생성하거나 로봇이 소리를 듣고 복잡한 환경을 탐색하는 등의 고차원적인 지능을 갖추게 된다.

전체적인 접근 방식은 시각과 청각 데이터를 신경망이 처리할 수 있는 공통 형식으로 변환하고, 이를 대규모 파운데이션 모델 아키텍처 내에서 통합하는 것이다. 지각 단계에서는 원시 파형(Waveform)이나 스펙트로그램을 임베딩으로 변환하고, 시각 데이터는 패치 단위로 나누어 인코딩한다.

핵심 메커니즘은 모달리티 간의 상관관계를 모델링하는 것이다. [오디오 임베딩과 비디오 임베딩 입력] → [Cross-Attention 연산 수행] → [상호 참조된 멀티모달 특징 출력] 과정을 거친다. 이는 특정 시점의 소리가 영상의 어느 부분에서 발생하는지를 모델이 학습하게 하여 정밀한 이벤트 로컬라이제이션과 세그멘테이션을 가능하게 한다.

생성 측면에서는 Diffusion 모델과 Autoregressive 모델이 주축을 이룬다. Diffusion 모델은 [노이즈가 섞인 데이터와 조건부 신호 입력] → [Denoising Network 연산] → [고해상도 시청각 콘텐츠 출력] 순으로 작동하며, Autoregressive 모델은 토큰 시퀀스를 예측하여 시간적 일관성을 유지한다. 마지막으로 RLHF나 DPO와 같은 사후 학습을 통해 인간의 선호도에 맞게 모델을 정렬한다.

메인 벤치마크 분석 결과, GPT-4o와 Gemini 2.5 Flash와 같은 최신 옴니 모델들이 시청각 정렬(AV Align)과 추론(Reasoning)에서 우수한 성능을 보였다. Daily-Omni 벤치마크에서 Qwen3-Omni-Thinking 모델은 73.60%의 평균 정확도를 기록하며 오픈소스 모델 중 최고 수준의 성능을 입증했다.

시청각 이벤트 로컬라이제이션(AVEL) 분야에서는 STG-CMA 모델이 AVE 데이터셋에서 83.3%의 정확도를 달성하여 SOTA 성능을 보였다. 이는 CLIP 기반의 강력한 시각 특징과 오디오 특징을 효과적으로 결합한 결과이다.

비디오-투-오디오(V2A) 생성 실험에서는 HunyuanVideo-Foley 모델이 VGGSound-Test 리더보드에서 FDP 2.51, IS 16.87을 기록하며 가장 사실적인 사운드 합성 능력을 보여주었다. 이는 대규모 멀티모달 공동 학습이 생성 품질 향상에 결정적임을 시사한다.

AVI 아키텍처는 크게 세 가지 유형으로 진화해 왔다. 첫째는 Encoder+LLM 구조로, 강력한 사전 학습 인코더를 어댑터를 통해 LLM에 연결하는 모듈형 방식이다. 둘째는 LLM+Generator 구조로, LLM이 계획자 역할을 수행하며 외부 생성 도구를 호출한다. 셋째는 통합 옴니(Unified Omni) 모델로, 단일 백본 내에서 지각과 생성을 동시에 처리한다.

기술적 차별점은 '인과적 이벤트-소스 그라운딩(Causal Event-Source Grounding)'에 있다. 단순한 시간적 일치(Synchronization)를 넘어, 소리의 전파 경로와 물리적 발생 원인을 그래프 구조로 모델링하여 더 깊은 수준의 멀티모달 이해를 추구한다.

학습 전략에서는 대규모 사전 학습 후 지시문 정렬(Instruction Alignment)과 선호도 최적화(Preference Optimization)가 필수적이다. 특히 비디오 데이터의 경우 토큰 수가 방대하므로, 정보 손실을 최소화하면서 토큰을 압축하는 기술과 긴 컨텍스트를 유지하는 메모리 메커니즘이 핵심적인 구현 세부사항으로 다뤄진다.

현재 AVI 시스템은 여전히 몇 가지 한계가 있다. 첫째, 시각 정보에 압도되어 오디오 정보를 충분히 활용하지 못하는 '시각 편향' 문제가 존재한다. 둘째, 긴 영상에서의 장기적 문맥 기억 능력이 부족하여 일관성이 떨어진다. 셋째, 실제 물리적 환경에서의 복잡한 소리 반사와 회절을 완벽히 시뮬레이션하기 어려워 Sim-to-Real 간극이 존재한다. 마지막으로 딥페이크와 같은 보안 및 윤리적 문제에 대한 대응책이 아직 미흡하다.