AVTok: 통합 1차원 토크나이제이션을 통한 전반적 오디오-비디오 생성

오디오와 비디오를 각각 별도의 토크나이저로 처리하면 임베딩 공간 불일치로 인해 음성과 영상의 의미 정렬이 깨질 가능성이 크다. AVTok은 두 모달을 단일 1D 이산 잠재공간으로 통합해 표현 격차를 줄이고 downstream autoregressive 생성 모델과 직접 연동되는 토큰을 제공한다. 이 접근은 모델 경량화와 교차모달 동기화를 동시에 추구하여 A2V, V2A, cJAVG 같은 응용에서 실질적 이점을 만든다.

기존 오디오-비디오 생성 파이프라인은 각 모달마다 별도 토크나이저를 사용해 입력을 압축하는 방식이 주류였다. 이 방식은 서로 다른 임베딩 공간을 형성해 교차모달 의미 불일치를 유발하고 전체 시스템의 계산·메모리 비용을 증가시켰다. 따라서 두 모달을 공통의 이산 1D 잠재공간으로 통합하면 의미 정렬 문제를 완화하고 AR 생성 모델과의 직접적 연동이 가능해진다.

AVTok은 1D latent를 표적 표현으로 삼아 dual-stream query 기반 Transformer를 설계했다. 각 모달은 모달별 holistic learnable queries와 patch queries를 사용해 자신에게 특화된 정보를 집계하고 encoder-decoder의 나머지 파라미터는 공유해 암묵적 교차모달 융합을 유도한다. holistic queries는 패치 단위의 지역 정보를 요약해 높은 수준의 전역 표현을 만들며, 이산 양자화 과정을 통해 n=1024와 q=128 같은 쿼리 수로 총 1152개의 이산 토큰을 얻는다.

학습 과정에서 영상 데이터의 정보량이 오디오를 압도하는 경향이 관찰되었다. 이를 해결하기 위해 VFAL 순차 학습 전략을 도입해 먼저 영상 스트림을 학습하고 그 다음 오디오 전용 모듈을 추가로 학습한 뒤 전체를 파인튜닝했다. 또한 사전학습된 audio-visual foundation model의 패치 임베딩을 목표로 하는 representation alignment 손실을 적용해 AVTok의 패치별 연속 임베딩이 시맨틱 대응을 잘 반영하도록 유도했고, AR prior를 병행 학습해 생성기에 적합한 토큰 순서성을 확보했다.

전체 접근은 입력의 패치화를 통해 비디오와 mel-spectrogram을 동일한 패치 임베딩 파이프라인으로 변환하는 것으로 시작한다. 비디오는 (f_T,f_H,f_W)=(4,8,8)로 분할되어 m개의 패치 임베딩을 생성하고 오디오는 mel-spectrogram에서 (f_M,f_L)=(16,16)로 분할되어 p개의 패치 임베딩을 만든다. 이 패치 임베딩들은 각 모달의 holistic query 집합과 결합되어 encoder를 거친 뒤 처음 n 또는 q개의 쿼리 대응 부분만 양자화되어 이산 토큰을 생성한다.

아키텍처는 공유 encoder-decoder와 모달별 normalization 및 모달별 holistic 및 patch query 집합으로 구성된다. 각 스트림은 별도의 forward pass를 수행하며 Z^i = E(Q_L^i ∥ E^i; LN1^i, LN2^i) 형태로 연속 임베딩을 계산한 뒤 상위 쿼리들만 Q형식 양자화기로 x^i로 변환한다. 디코더는 patch queries와 dequantized latent를 결합해 원래 도메인으로 재구성하는 과정을 수행한다.

학습 손실은 영상 재구성 손실과 오디오 재구성 손실, representation alignment 손실, 그리고 AR prior 손실의 가중합으로 구성된다. 영상 재구성은 L1, LPIPS, GAN, SVQ quantization loss를 사용했고 오디오 재구성은 Multi-Scale Mel-Spectrogram Loss와 여러 판별기를 사용했다. representation alignment는 M_F의 패치 임베딩 Z_F와 모델의 보간된 토큰을 MLP h_phi로 투영한 뒤 sim 함수를 통해 평균 유사도를 최대화하는 목적을 취한다. AR prior는 두 가지 토큰 순서 x^v∥x^a 및 x^a∥x^v에 대해 next token prediction을 수행해 NLL 기반의 loss를 더한다.

재구성 평가에서 AVTok은 영상 측정지표에서 강점을 보였다. 표에 따르면 AVTok의 영상 PSNR은 25.62이고 rFVD는 12.80이며 LPIPS는 0.126으로 제시되었다. 오디오 측면에서는 SI-SDR 23.09, rFAD 5.93, MR-STFT 1.523의 값을 기록해 전반적으로 균형 잡힌 성능을 나타냈다.

하류 생성 과제에서 AR 생성기와 결합한 AVTok 기반 시스템은 여러 태스크에서 경쟁력 있는 결과를 보였다. Audio-to-Video 실험에서 AVTok-A2V의 gFVD는 150.26으로 비교 대상인 TempoTokens보다 개선된 수치를 보였다. Video-to-Audio와 class-conditional joint AV generation에서도 AVTok-V2A와 AVTok-cJAVG가 각각 gFAD 49.47과 56.58, gFVD 138.80을 기록해 전반적인 합성 품질이 우수함을 시사했다.

절제된 제거 실험에서 VFAL과 representation alignment, AR prior의 기여가 확인되었다. VFAL을 제거하면 rFVD가 12.80에서 13.19로 악화되었고 representation alignment를 제거하면 rFAD가 증가하는 등 교차모달 정렬과 계층적 학습이 성능 개선에 유의미한 영향을 미쳤다. AR prior를 제거하면 재구성 평가는 더 좋아지지만 생성 품질은 악화되어 prior의 트레이드오프가 드러났다.

전체 아키텍처는 dual-stream transformer 기반의 shared encoder-decoder와 모달별 holistic 및 patch query 집합으로 구성되었다. 영상 스트림은 n=1024 holistic queries와 m=1024 patch queries를 사용하고 오디오 스트림은 q=128 holistic queries와 p≈120 patch queries를 사용해 디코딩 시 총 1152개의 이산 토큰을 얻도록 설정되었다. 패치 분해율은 비디오에서 (f_T,f_H,f_W)=(4,8,8)이고 오디오 mel에서 (f_M,f_L)=(16,16)으로 구현되었다.

연속 임베딩은 encoder를 통해 Z^i를 계산한 뒤 처음 j개(영상의 경우 j=n, 오디오의 경우 j=q)만 양자화되어 x^i로 변환된다. 복원 단계에서는 Q^{-1}을 통해 dequantized Z를 얻어 patch queries와 결합해 디코더로부터 원래 도메인의 패치 임베딩을 재구성하고 이를 R 연산으로 이미지 또는 mel로 복원한다. 오디오는 HiFi-GAN을 사용해 mel에서 파형으로 복원되었다.

학습은 세 단계 VFAL로 진행되었다. 1단계에서 영상 스트림만 학습해 견고한 잠재공간을 형성하고 2단계에서 오디오 전용 모듈을 추가하고 동결된 파라미터를 유지해 오디오 복원을 학습하며 3단계에서 전체를 파인튜닝해 통합 재구성 품질을 향상시켰다. 손실 구성은 L = λ1 L_rec^v + λ2 L_rec^a + λ3 L_rep + λ4 L_prior로 표현되며 각 항이 재구성, 표현 정렬, AR prior 기능을 수행한다.

데이터와 평가 설정은 VGGSound 테스트셋과 TAVGBench를 사용했고 입력 클립은 16 프레임, 공간 해상도 128×128, 오디오 샘플은 98304×1, mel 해상도 80×384, 프레임레이트 3.6 fps로 통일되었다. AR 생성기는 Llama-like transformer를 사용했고 클래스 조건에는 CLS 토큰, 교차모달 생성에는 SEP 토큰을 적용했다.

논문은 통합 토크나이저 학습이 계산적으로 여전히 비용이 크며 대규모 학습 자원이 요구된다고 명시했다. 영상과 오디오 간 정보 밀도 차이로 인해 단순 동시 학습 시 한 모달의 학습이 다른 모달을 억제하는 문제가 관찰되었다. 또한 representation alignment를 위해 사전학습된 audio-visual foundation model을 필요로 하므로 해당 사전학습 자원과 호환성에 의존성이 존재한다.