Autoregressive 비디오 생성을 위한 On-Policy Adversarial Flow Distillation

교사가 샘플 전체를 제공하는 경우에도 AR 학생은 자신의 rollout 분포에 맞춰 학습해야 한다. SFT, score-based DMD, 또는 비디오 수준의 대립 학습은 교사의 인터페이스 제약으로 인해 비효율적이다. 제안된 AFD는 completed videos로부터 교사–학생 간 불일치를 추정하고 이를 forward-noising 경로에 전달함으로써 denoising 시간에서 밀도 있는 감독 신호를 제공한다. 두 가지 AR 백본(Self-Forcing, Causal-Forcing)에서 모션 및 물리적 특성 향상을 보이며 일반 영상 품질도 유지한다.

출발점: AR 비디오 생성은 teacher가 제공하는 완성된 비디오만으로는 교사–학생 간 차이를 파악하기 어렵다. SFT는 off-policy로 인한 분포 불일치를 야기하고, DMD류 목표는 교사 스코어나 밀도로 한정되며 샘플 레벨의 시그널만 이용한다. 해결 원리: adaptive discriminator를 통해 completed videos에서 teacher–student의 불일치를 추정하고, DiffusionNFT의 forward-noising을 통해 이 신호를 denoising-time의 벡터 필드로 변환한다. 이로써 샘플 수준 신호를 덴노이징 시간에 밀도 있게 전달하고, 교사 점수나 역방향 경로를 저장하지 않아도 된다. 달라지는 점: 두 AR 백본에서 모션/물리적 일관성 지표가 향상되면서도 일반 비디오 품질은 유지되며, 온-정책 피드백과 forward-process 크레딧 할당의 중요성이 입증된다.

1. 문제 설정: pi_T(x0|y)는 프롬프트 y에 대해 교사가 제공하는 완성 비디오를 나타내고, pi_theta는 velocity field f_theta로 구성된 AR 학생 모델이다. 교사 파라미터, 점수, latents 등에 대한 접근은 불가하며, 공유 인터페이스는 교사 샘플 x_T0와 학생 샘플 x_hat0뿐이다. 2) Adaptive Teacher–Student Discrimination: 프롬프트를 조건으로 하는 디스크리미네이터 D_phi(x0, y)를 학습하고, 각 프롬프트에서 교사 샘플 x_T0와 학생 샘플 x_hat0의 비교를 BT 손실로 최적화한다. 보상 신호 r_phi(x_hat0, y) = sg(D_phi(x_hat0, y) − b(y))를 정의하고 배치 기준선 b(y)와 함께 사용한다. 3) Diffusion‑native On‑policy Update: x_t = alpha_t x_hat0 + sigma_t epsilon로 forward-noised 샘플을 만들고, v_theta(x_t, t, y)을 통해 양성/음성 롤아웃을 구성한 뒤 NFT 손실 LNFT(theta)를 최소화한다. prior 정규화 L_prior를 추가한다. 4) Black‑Box Teacher Interface: 교사는 clean-sample 채널 O_T(y)만 제공하며, teacher의 역전파 경로를 사용할 수 없다. 5) Forward‑Process Credit Assignment: ρ_phi를 이용해 샘플-레벨 가중치를 만들고, p(x_t|x_hat0)를 forward-noising하여 π^+(x_t|y)를 정의한다. 6) Training Procedure: 데이터 수집, discriminator 업데이트, 그리고 velocity-field 업데이트를 교대로 수행하며, EMA 타깃 네트워크를 유지한다.

주요 벤치마크 결과: Self-Forcing에서 Physics VBench 총점은 87.55, VideoAlign-MQ는 0.605, VideoPhy-2-PC는 4.20으로, General 총점 60.83으로 나타났다. 동일 조건의 Baseline과 SFT, GAN, DMD 대비 AFD가 물리·모션 지표에서 우수한 성능을 보였으며, General 품질은 거의 유지되었다. Causal-Forcing에서 Physics VBench 총점은 88.52, VideoPhy-2-PC는 4.24로 최상, VideoAlign-MQ는 0.661으로 동률, General 총점은 59.83로 나타났다.

아키텍처: AR 학생 π_theta는 velocity field f_theta(x_t, t, y)로 정의되며, 교사 π_T는 프롬프트 y에 대해 완료된 x_T0를 출력한다. Discriminator D_phi는 프롬프트-조건부 스페이스에서 교사 샘플과 학생 샘플을 구분하도록 학습되며, BT 손실을 이용해 교사 샘플 대비 학생 샘플의 확률 비를 학습한다. Forward-noising: x_t = alpha_t x_hat0 + sigma_t epsilon에서 t ∈ [0,1], epsilon ~ N(0, I)로 정의된다. 목표는 양성/음성 롤아웃에 대해 v_plus_theta 및 v_minus_theta를 구성하고 NFT 손실 LNFT(θ) = E[sum_i w_i || v_plus_theta - v||^2 + (1-w_i)|| v_minus_theta - v||^2]를 최소화하는 것과, prior 정규화 항 L_prior를 추가하는 것이다. 최종 손실은 L_AFD(θ) = LNFT(θ) + lambda_prior L_prior(θ)로 정의된다. 학습은 1) 프롬프트 배치 샘플링, 2) 교사-학생 차이 평가를 위한 D_phi 업데이트, 3) forward-process 업데이트를 통한 벡터 필드 학습, 4) EMA 타깃 네트워크 업데이트의 순으로 진행된다. Discriminator 업데이트률 η_D의 영향, BT vs GAN 손실의 차이, Disney 스타일 도메인에서의 추론능력 확인 등 다양한 ablation이 실험에 포함된다.

본 연구는 두 가지 causal autoregressive 백본과 일부 물리 도메인에 국한되어 있으며, 더 폭넓은 교사, 더 긴 비디오, 다양한 프롬프트 분포에 대한 일반화 연구가 필요하다. 또한 온라인 디스크리미네이터의 업데이트 속도에 의존하므로, 보정이 필요하다.