Audio-Video 생성 모델의 Attention Triangle

왜 중요한가

Audio-Video 생성에서는 프롬프트가 앵무새를 발화원으로 지정해도 Audio-Video 경로의 학습된 편향 때문에 해적이 말하는 결과가 생성된다. 이 연구는 누출의 주요 경로를 분리하고 세 Attention edge를 동시에 조정해 발화원 귀속과 시각적 일관성을 함께 개선했다.

관련 Figure

Screenshot
사람과 꼭두각시 장면에서는 Audio를 추가한 Text-to-Audio-Video 결과에서 두 인물이 입을 움직이는 현상이 나타난다. 개와 고양이 장면에서는 개가 고양이 같은 외형을 얻고 두 동물이 모두 말하는 결과가 생성된다. Audio 모달리티가 추가되면서 시각 속성과 발화 행동이 다른 개체로 퍼지는 누출을 비교한다.
Text-to-Video와 Text-to-Audio-Video 생성 결과를 두 장면에서 비교한 그림

핵심 기여

세 모달리티를 잇는 Attention Triangle 분석

Text, Audio, Video 사이의 Text→Audio, Text→Video, Audio↔Video 세 Cross-Attention edge를 하나의 삼각 구조로 묶어 의미가 직접·간접 경로로 이동하는 과정을 분석했다.

Audio-Video 경로의 양방향 누출 진단

Audio가 Video 생성에 영향을 주는 동시에 Video의 시각적 선행 지식이 Audio 생성과 발화원 귀속을 편향시킨다는 점을 Attention 시각화와 Audio 제거 비교로 확인했다.

세 edge를 함께 조정하는 학습 없는 Steering

의도된 소스·소리 영역에는 양의 Bias를, 충돌하는 소스·소리 쌍에는 음의 Bias를 Pre-Softmax Logit에 더해 Text→Audio, Text→Video, Audio↔Video 경로를 동시에 제어했다.

부분 개입과 전체 개입의 차이 검증

Text edge만 조정하면 외형 누출은 줄지만 발화원 오류가 남고, Audio-Video edge만 조정하면 발화원은 맞아도 외형 누출이 재발했다. 세 edge를 모두 조정한 Ours-Full만 두 문제를 함께 완화했다.

관련 Figure

Infographic
기준 생성에서는 해적이 앵무새 같은 외형을 얻고 발화원으로 잘못 지정된다. Ours-Text는 해적의 외형을 복원하지만 발화원 오류가 남고, Ours-AV는 발화원을 앵무새로 옮기지만 외형 누출이 남으며, Ours-Full만 두 문제를 함께 줄인다. 부분 개입만으로는 세 모달리티의 결합 경로를 모두 통제할 수 없다는 방법론적 결과를 시각적으로 정리한다.
해적과 앵무새가 부두에 있는 동일한 장면을 기준 생성, Text edge 조정, Audio-Video edge 조정, 전체 Triangle 조정으로 비교한 도식

핵심 아이디어 이해하기

Transformer의 Cross-Attention은 한 모달리티의 Query가 다른 모달리티의 Key·Value를 선택적으로 참조해 의미를 전달한다. Text-to-Video에서는 ‘누가 말하는가’와 같은 속성을 해당 시각 개체에 연결해야 하지만, Attention에는 개체별 독점성이나 공간적 제한이 없어 속성이 다른 개체로 퍼질 수 있다.

Audio-Video 생성에서는 이 문제가 세 모달리티의 Attention Triangle로 확장된다. Text의 의미는 Video로 직접 이동할 뿐 아니라 Audio를 거쳐 Video로 간접 이동하고, Video의 시각적 선행 지식은 다시 Audio 생성에 영향을 준다. 따라서 프롬프트가 앵무새를 발화원으로 지정해도 음성 특징이 사람 형태와 강하게 연결된 학습 편향이 Audio→Video 경로를 통해 해적 패치에 음성 의미를 보낼 수 있다.

논문은 이 경로를 Video→Audio→Video로 계산되는 2차 Attention으로 추적한다. 앵무새 영역에 초기 Attention 질량을 놓고 Audio 토큰을 거쳐 다시 Video로 전파하면, 기준 생성에서는 질량이 해적 영역으로 이동한다. 이는 단일 Attention 행렬만으로 드러나지 않는 Audio 매개 시각 영역 간 결합이 발화원 오류를 만든다는 의미다.

해결책은 세 edge의 Logit에 영역별 Bias를 추가하는 것이다. 의도된 소스와 소리의 연결은 유지하고 소스와 소리가 어긋난 쌍은 억제하므로, Audio와 Video가 같은 프롬프트 지정 대상을 향하도록 경로를 재정렬한다. Text edge도 함께 조정해야 외형 속성이 경쟁 개체로 이동하는 문제까지 줄어든다.

관련 Figure

Diagram
왼쪽의 Seed Visual Mass는 프롬프트가 지정한 앵무새 영역에 놓인다. Video에서 Audio로 이동하는 중간 분포는 1D Audio 토큰의 특성 때문에 넓게 퍼지고, Audio에서 Video로 돌아온 Returned Visual Mass는 해적 영역에 집중된다. 이 V→A→V 경로가 개별 Attention 행렬에 드러나지 않는 Audio 매개 시각 영역 간 누출을 만든다는 점을 시각화한다.
앵무새에 둔 초기 시각 Attention 질량이 Audio Bridge를 거쳐 해적 쪽으로 이동하는 과정

방법론

모델은 하나의 Text prompt에서 시간적으로 정렬된 Video와 Audio를 동시에 생성하며, Text·Audio·Video 토큰 사이에 세 쌍의 Cross-Attention surface를 둔다. 연구진은 기준 생성에서 의도된 소리의 발화원, 소리 또는 행동, 선택적 경쟁 개체를 지정하고, 각 모달리티에서 사용할 영역 Anchor를 추출한다. Text Anchor는 주석 구문의 토큰 인덱스, Video Anchor는 기준 프레임에 SAM3를 적용한 이진 마스크, Audio Anchor는 소리 관련 Text 토큰에 대한 Audio Query의 Attention을 Denoising 단계 전체에서 합산한 Soft Mask다.

Audio↔Video edge에서는 Video 소스 마스크와 Audio 소리 마스크의 일치 행렬을 계산한다. 소스 영역과 소리 영역이 모두 의도된 쌍이거나 둘 다 비소스 영역이면 agreement가 높고, 한쪽만 의도된 영역이면 낮아진다. 논문의 Bias는 $B_{A\to V}=-\lambda(1-G_{VA})$ 이며, $G_{VA}$ 는 Video 위치와 Audio 위치의 일치도, $\lambda$ 는 불일치 억제 강도다. 입력은 두 영역 마스크이고, 뺄셈으로 불일치도를 만든 뒤 음의 Logit Bias를 출력해 Softmax 이후 해당 Attention 확률을 낮춘다. 논문은 $\lambda=10$ 을 사용한다. 예를 들어 $G_{VA}=0.2$ 인 쌍에는 $-10(1-0.2)=-8$ 의 Bias가 더해져 $G_{VA}=0.9$ 인 쌍의 $-1$ 보다 강하게 억제된다.

Text→Video와 Text→Audio edge에는 의도 셀과 충돌 셀을 별도로 만든다. 의도 셀에는 $\beta$ 를 더하고 충돌 셀에는 $\gamma$ 를 빼서, $B=\beta M^{int}-\gamma M^{conf}$ 형태로 Logit을 조정한다. $M^{int}$ 는 의도된 소스와 관련 Text 토큰의 쌍이고 $M^{conf}$ 는 의도된 영역과 경쟁 개체 토큰 또는 경쟁 영역과 의도 토큰의 쌍이다. 논문은 $\beta=0.5$ , $\gamma=2.0$ 을 사용해 강화보다 충돌 억제에 더 큰 비중을 둔다.

이 Bias는 모든 Transformer block과 Denoising step에서 Pre-Softmax Attention Logit에 추가된다. Ours-Text는 두 Text edge만, Ours-AV는 Audio↔Video edge만, Ours-Full은 세 edge 모두를 조정한다. 기준 Anchor를 얻기 위해 최종 생성과 동일한 전체 Denoising trajectory를 한 번 더 수행하고 프레임 디코딩과 SAM3 처리를 거치므로, Ours-Full의 비용은 비조정 생성의 약 2.5배다.

관련 Figure

Diagram
기준 영상에서는 소리가 활성화된 구간의 Video Query 점수가 해적의 얼굴과 가슴에 집중된다. Steering 후에는 같은 Audio 구간의 높은 점수가 프롬프트가 지정한 앵무새에 집중되며, 하단 Waveform은 해당 분석에 사용한 음성 활성 구간을 표시한다. Audio-Video Attention Logit을 조정해 소리의 시각적 귀속 위치를 바꾸는 과정을 보여준다.
기준 생성과 Attention Triangle Steering 후의 영상 위치별 Audio Attention 점수 및 Audio waveform

주요 결과

기준 LTX-2에서는 앵무새가 말해야 하는 해적 장면에서 해적이 시각적 앵무새 속성을 얻고 발화원으로 잘못 지정됐다. 기준 Audio-Video Attention에서는 음성이 활성화된 Audio Key에 대한 점수가 해적의 얼굴과 가슴에 집중됐지만, Steering 후에는 프롬프트가 지정한 앵무새에 집중됐다. Audio를 거쳐 다시 Video로 전파한 2차 Attention에서도 기준 생성은 앵무새에서 해적으로 질량이 이동했고, 조정 후에는 앵무새 쪽으로 되돌아왔다.

정량 평가에서 Ours-Full의 Qwen source-attribution score는 0.1349로 native LTX-2의 0.1216보다 높았다. CLAP audio-text 점수는 Ours-Full 0.383으로 가장 가까운 기준선의 0.384와 비슷해 Audio-Text 정합성이 크게 저하되지 않았다. VBench에서는 subject consistency 0.990, background consistency 0.986, aesthetic quality 0.604로 세 항목 모두 비교 방법 중 가장 높았다.

VA-Judger의 방법별 선호도에서 Ours-Full은 57.6%~73.3%를 기록했고 모든 pair-bootstrap 95% 신뢰구간이 50%를 넘었다. 사람 평가에서는 발화원 귀속 79.2%, 시각적 누출 82.9%, 전체 생성 품질 80.1%의 비교에서 Ours-Full이 선택됐다. 세 집계 결과의 비동률 선호는 Bonferroni 보정 후 p<10^-28이었다.

부분 개입은 세 edge의 역할을 분리했다. Ours-Text는 외형을 복원하지만 소리의 발화원 오류를 남겼고, Ours-AV는 소리 위치를 맞추지만 경쟁 개체에 외형 누출을 다시 일으켰다. Ours-Full만 기사·앵무새 장면과 말이 울어야 하는 기사·말 장면에서 외형 보존과 소리 귀속을 동시에 달성했다.

관련 Figure

Screenshot
프롬프트는 말이 조용히 있고 기사만 말 울음소리를 내도록 지정하지만, 기준선과 부분 개입에서는 말이 발화원으로 오인되거나 기사가 말 같은 외형을 얻는다. Text Steering은 외형 오류를 일부 줄이고 Audio-Video Steering은 소리 위치를 조정하지만, Full Steering만 기사의 외형을 유지하면서 발화원을 기사로 귀속한다. 확대 영역은 각 방법에서 소리가 발생하는 것으로 해석되는 개체의 차이를 확인하게 한다.
기사와 말 장면에서 기준선, Text Steering, Audio-Video Steering, Full Steering의 프레임과 확대 영역 비교

기술 상세

Attention 행렬 $P_{QK}^{(\ell)}$ 는 layer $\ell$ 에서 Q 모달리티의 Query를 행으로, K 모달리티의 Key를 열로 갖는 Head 평균 행렬이며 각 원소는 $[0,1]$ 범위다. 논문은 연속된 두 Cross-Attention 행렬을 곱해 $P_{VV}^{eff}=P_{VA}^{(\ell)}P_{AV}^{(\ell+1)}$ 를 계산한다. 첫 입력 $P_{VA}$ 는 Video 위치에서 Audio 토큰으로 이동하는 분포를 만들고, 다음 $P_{AV}$ 는 그 Audio 분포를 Video 위치로 되돌려 최종 Video-to-Video 결합을 출력한다. 앵무새 영역에 균일한 초기 질량을 넣으면 기준 모델에서는 최종 질량이 해적 영역으로 이동하고, Steering 후에는 앵무새에 남는다.

Audio↔Video Bias는 Video 소스 마스크 $m_{src}^{V}$ 와 Audio 소리 마스크 $m_{snd}^{A}$ 를 사용해 $G_{VA}=m_{src}^{V}(m_{snd}^{A})^T+(1-m_{src}^{V})(1-m_{snd}^{A})^T$ 를 만든다. 각 행은 Video 위치, 각 열은 Audio 위치이며, 첫 항은 소스-소리 일치 쌍을, 둘째 항은 비소스-비소리 일치 쌍을 높인다. 그 다음 $-\lambda(1-G_{VA})$ 를 Video-query/Audio-key Logit에 더하고 전치 Bias를 반대 방향에 더한다. $\lambda=10$ 이면 불일치도가 0.8인 쌍은 -8, 불일치도가 0.1인 쌍은 -1의 억제를 받으므로, 소리와 무관한 시각 영역으로의 Attention이 더 크게 줄어든다.

Text edge의 Video 표면에서는 $M_{VT}^{int}=m_{src}^{V}(m_{src}^{T})^T$ , $M_{VT}^{conf}=m_{src}^{V}(m_{cmp}^{T})^T+m_{cmp}^{V}(m_{src}^{T})^T$ 를 계산하고, Audio 표면에서도 소리 Mask와 Text Mask로 같은 구조를 만든다. $B=0.5M^{int}-2.0M^{conf}$ 를 적용하므로 의도된 연결은 0.5만큼 강화되고 충돌하는 연결은 2.0만큼 억제된다. 경쟁 소스가 없으면 충돌 항이 사라져 의도 셀 강화만 남는다.

Audio Anchor는 외부 Segmenter 대신 Audio Query가 소리·행동 Text 토큰에 주는 Attention을 Denoising 단계에서 합산해 [0,1]로 정규화한다. Text-conditioned Audio 표면에서는 임계값 $\theta_A=0.3$ 으로 이 Soft Mask를 이진화한다. Visual Anchor는 기준 프레임에 SAM3를 적용하고 임계값 0.5로 마스크를 이진화한 뒤 Latent Grid 크기로 조정한다. 이처럼 신뢰할 수 있는 시각 영역에는 외부 마스크를, Audio에는 모델 내부 Saliency를 사용한다.

실험은 Native LTX-2, Video-only 진단 기준선, Ovi, Bounded Attention 변형, Ours-Text, Ours-AV, Ours-Full을 같은 Prompt 집합에서 비교했다. Ours-Full은 CLAP 0.383을 유지하면서 VBench의 세 시각 지표에서 0.990, 0.986, 0.604를 기록했고, Audio-Video 누출을 줄이는 과정에서 측정된 시각 품질의 큰 하락을 보이지 않았다.

한계점

논문은 Audio-Video 경로가 누출에 기여한다는 점을 확인했지만, 1D 시간 위치를 갖는 Audio 토큰과 3D 시공간 위치를 갖는 Video 패치의 불일치가 유일한 원인이라고 확정하지 않았다. 또한 논문은 단일 스트림 구조나 공간·준공간 Audio 표현으로의 전이 가능성을 향후 과제로 남겼다.

실무 활용

이 방법은 LTX-2처럼 Text prompt에서 Audio와 Video를 함께 생성하는 모델의 발화원 오류와 개체 간 속성 누출을 추론 단계에서 줄이는 데 활용할 수 있다. 추가 Fine-tuning이나 보조 손실 없이 기준 생성에서 얻은 Text·Video·Audio Anchor를 사용하지만, 기준 Denoising을 한 번 더 수행해 생성 비용이 약 2.5배로 증가한다.

한 장면에 사람과 동물이 함께 등장하고 특정 개체만 말하거나 소리를 내야 하는 Audio-Video 생성
경쟁 개체에 음성 관련 외형이 전이되는 다중 개체 영상 생성 오류 완화
Text→Audio·Text→Video·Audio↔Video Attention을 분리한 생성 모델 진단
소리의 발화원 귀속과 시각적 일관성을 함께 평가하는 연구용 추론 개입

코드 공개 여부: 공개

코드 저장소 보기

키워드

Audio-Video Diffusion Model(오디오-비디오 확산 모델)Cross-Modal Attention(교차 모달 어텐션)Attention Triangle(어텐션 삼각형)Semantic Leakage(의미 누출)Source Attribution(발화원 귀속)Inference-Time Steering(추론 시 조정)Cross-Modal Alignment(교차 모달 정렬)

용어 해설

교차 모달 어텐션(Cross-Modal Attention): — 서로 다른 모달리티의 토큰 시퀀스가 상대 모달리티의 정보를 선택적으로 참조하는 Attention이다. 이 논문에서는 Text·Audio·Video 사이의 정보를 연결해 생성 과정에서 의미와 시간·공간 정보를 교환하지만, 의도하지 않은 대상까지 의미가 퍼지는 Semantic Leakage의 통로가 되기도 한다.
의미 누출(Semantic Leakage): — 프롬프트가 특정 개체에 지정한 속성이나 소리가 다른 개체로 잘못 전달되는 현상이다. 예를 들어 앵무새가 말해야 하는 장면에서 Audio-Video 상호작용이 음성 의미를 사람 형태의 해적에게 보내 해적이 말하거나 앵무새 같은 외형을 갖게 만든다.
발화원 귀속(Source Attribution): — 생성된 소리나 행동을 장면 속 올바른 시각적 개체에 연결하는 문제다. Audio 토큰과 Video 패치 사이의 Attention이 프롬프트의 지정 대상 대신 학습된 시각적 선호를 따르면, 실제 소리의 발화원이 다른 개체로 바뀐다.
추론 시 개입(Inference-Time Intervention): — 모델을 재학습하거나 추가 손실 함수를 도입하지 않고 생성 중 내부 연산을 조정하는 방법이다. 이 논문은 Denoising 단계마다 Cross-Attention Logit에 Bias를 더해 의도된 연결은 강화하고 충돌하는 연결은 억제한다.
Diffusion Transformer(Diffusion Transformer (DiT)): — Diffusion 모델의 Denoising 과정을 Transformer 구조로 처리하는 생성 백본이다. 논문 속 Audio-Video 모델은 Text 조건과 Audio·Video 표현을 Cross-Attention으로 결합하며, 이 결합 구조가 세 모달리티 사이의 의미 라우팅과 누출에 영향을 준다.
교차 어텐션(Cross-Attention): — 한 모달리티의 Query가 다른 모달리티의 Key와 Value를 참조해 조건 정보를 출력에 반영하는 연산이다. 논문은 Text→Audio, Text→Video, Audio↔Video의 세 연결을 분리해 분석하고, 각 연결의 Pre-Softmax Logit을 조정한다.

Audio-Video 생성 모델의 Attention Triangle

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

DreamX-Creator 1.0의 네이티브 음향·영상 생성

EchoWM으로 여는 오디오·비디오 세계

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

DreamX-Creator 1.0의 네이티브 음향·영상 생성

EchoWM으로 여는 오디오·비디오 세계