VideoFlexTok: 유연한 길이를 가진 조대-미세 비디오 토큰화

기존 비디오 토큰화 방식은 고정된 3D 그리드 구조를 사용하여 영상의 복잡도와 상관없이 방대한 연산량을 요구했습니다. 이 논문은 영상의 핵심 의미부터 세부 디테일까지 단계적으로 압축하는 유연한 토큰화 방식을 제안하여, 훨씬 적은 데이터로도 고품질 비디오를 생성하고 학습 효율을 5배 이상 높였습니다.

기존의 비디오 토크나이저는 영상을 바둑판 모양의 3D 그리드로 나누고 각 칸을 개별 토큰으로 변환한다. 이 방식은 영상이 단순하든 복잡하든 항상 동일한 수의 토큰을 생성하므로, 배경이 정지된 영상에서도 불필요하게 많은 연산 자원을 소모하게 만든다.

VideoFlexTok은 이를 해결하기 위해 '중요한 정보부터 먼저 담는' 전략을 취한다. 먼저 영상의 전체적인 구도나 움직임 같은 핵심 정보를 소수의 토큰에 압축하여 담고(Coarse), 필요에 따라 디테일을 보충하는 토큰을 덧붙이는(Fine) 방식이다. 이는 마치 저해상도 미리보기를 먼저 보여주고 점진적으로 화질을 높이는 스트리밍 방식과 유사하다.

이러한 계층적 구조는 모델이 영상의 본질적인 의미를 더 빨리 파악하게 돕는다. 결과적으로 텍스트-비디오 생성 모델이 학습해야 할 데이터의 양이 획기적으로 줄어들며, 제한된 하드웨어 자원에서도 훨씬 긴 영상을 생성할 수 있는 기반을 마련한다.

VideoFlexTok은 인코더와 디코더로 구성된 오토인코더 구조를 가진다. 인코더는 VAE 잠재 공간(Latent Space) 상의 비디오 데이터를 입력받아 학습 가능한 Register Token들과 인터리빙(Interleaving)한 후, 시간 축에 대한 Causal Attention Mask가 적용된 Transformer를 통과시킨다.

계층적 구조를 형성하기 위해 Nested Dropout 기법을 적용한다. [전체 Register Token 시퀀스 중 무작위로 뒷부분의 토큰들을 제거하는 연산] → [남은 토큰들만으로 영상을 복원하도록 학습] → [앞쪽 토큰들이 영상의 가장 핵심적인 정보를 우선적으로 학습하도록 유도]하는 원리다.

디코더는 Rectified Flow 모델을 사용하여 노이즈가 섞인 잠재 변수로부터 원본 영상을 복원한다. 이때 DINOv2의 특징을 증류(Distillation)하는 REPA Loss를 추가하여 토큰이 시각적 디테일뿐만 아니라 풍부한 의미론적 정보(Semantic Information)를 담도록 강제한다.

Kinetics-600 데이터셋 기반의 Class-to-Video 실험에서 VideoFlexTok은 기존 SOTA 모델인 VidTok FSQ나 Cosmos-DV보다 훨씬 적은 토큰으로도 우수한 성능을 보였다. 특히 160개의 토큰만 사용했을 때 rFVD 48.7, gFVD 80.0을 기록하며 효율성을 입증했다.

텍스트-비디오 생성 작업에서는 5.2B 파라미터의 기존 모델과 1.1B 파라미터의 VideoFlexTok 기반 모델이 유사한 수준의 gFVD 및 ViCLIP 점수를 획득했다. 이는 모델 크기를 약 5배 줄이면서도 생성 품질을 유지할 수 있음을 의미한다.

추론 비용 분석 결과, 프레임당 토큰 수를 256개 미만으로 줄이고 Flow 디코더의 Denoising 단계를 늘리는 것이 동일한 연산량 대비 가장 높은 비디오 품질을 제공하는 것으로 나타났다.

VideoFlexTok의 핵심은 2D 토큰 구조다. 첫 번째 차원은 시간(Time)을 나타내고, 두 번째 차원은 조대-미세(Coarse-to-Fine) 계층을 나타낸다. 인코더와 디코더 모두에 Time-Causal Attention을 적용하여 미래 프레임의 정보 없이 현재까지의 정보만으로 토큰화가 가능하도록 설계되어 스트리밍 처리에 적합하다.

학습 시에는 3D VAE인 VidTok을 기반으로 하며, 16채널의 잠재 공간에서 작동한다. Register Token은 프레임당 최대 256개를 사용하며, FSQ(Finite Scalar Quantization)를 통해 64,000 크기의 코드북으로 이산화한다. REPA(Representation Alignment) 헤드는 디코더의 초기 레이어에서 DINOv2 특징을 예측하도록 하여 토큰의 의미론적 인지 능력을 강화한다.

장기 비디오 생성을 위해 오버랩(Overlap) 프레임을 활용한 조건부 디코딩 전략을 사용한다. 이전 청크에서 생성된 마지막 n개의 프레임을 다음 청크의 조건으로 입력하여 긴 영상에서도 시간적 일관성(Temporal Consistency)을 유지한다.

픽셀 단위의 정밀한 복원 지표인 MSE나 MAE 측면에서는 기존의 고정 그리드 방식보다 약간 낮은 성능을 보일 수 있다. 또한 Flow 디코더의 반복적인 Denoising 단계로 인해 추론 시 디코딩 시간이 추가로 소요될 수 있다.