Causal-rCM: 스트리밍 비디오 생성과 인터랙티브 월드 모델을 위한 자기회귀 확산 증류의 통합 Teacher-Forcing·Self-Forcing 오픈 레시피

실시간 스트리밍 및 상호작용 가능한 비디오 생성은 추론 단계를 몇 번의 샘플링으로 줄이는 동시에 시간축 오류 누적을 막아야 한다. Causal-rCM은 오프라인 안정성(teacher-forcing 기반 CM)과 on-policy 품질 향상(self-forcing DMD)을 결합해 1–2스텝 수준에서 SOTA 성능을 달성한다.

문제 출발점과 기존 한계: 자기회귀(autoregressive) 비디오 diffusion은 각 프레임(혹은 청크)을 이전 생성물에 조건화해 순차적으로 생성한다. Teacher-Forcing(TF)은 과거 컨텍스트를 정답(clean)으로 고정해 학습을 안정화하지만, 추론 시 모델이 생성한 이력에 의존하면 exposure bias(오류 누적)가 발생한다. Self-Forcing(SF)은 on-policy 롤아웃으로 이 간극을 직접 메꾸지만, DMD와 같은 reverse-type 목표는 초기화에 민감하고 mode collapse 위험이 존재한다.

해결 원리: Causal-rCM은 forward-type(모드 보존)과 reverse-type(분포 정렬)의 상보성을 인과적 자기회귀 설정에 그대로 적용한다. 구체적으로 TF 기반의 CM은 오프라인에서 안정적이고 모드-보존적인 초기화를 제공한다(forward component). 이후 SF 기반 DMD는 학생의 on-policy 롤아웃 분포를 교사 분포에 맞추는 reverse component로서 최종 품질을 끌어올린다. 이 두 단계는 순차적으로 적용되어 안정성과 품질을 동시에 확보한다.

주요 성과: Wan2.1 T2V(480p) 벤치에서 Causal-rCM의 few-step 학생 모델이 frame-wise와 chunk-wise 모두에서 SOTA 수준의 VBench-T2V 점수를 획득했다. 대표적으로 frame-wise 2-step(또는 1-step) 샘플링에서 VBench-T2V 총점 84.63을 기록했다(Table 4). TF-sCM은 TF-dCM에 비해 TF 단계에서 약 10× 적은 학습 이터레이션으로 높은 초기화 성능을 제공했다(학습 곡선 비교).

전체 아키텍처: 인과적(diffusion) Transformer 기반의 생성기는 프레임/청크 단위로 causal self-attention을 적용한다. 학습 파이프라인은 세 단계로 구성된다: (1) TF/DF로 causal teacher 획득, (2) TF-CM(TF-dCM 또는 TF-sCM)으로 few-step 학생 초기화, (3) SF-DMD로 on-policy 정교화. student/teacher/EMA/fake-score 네트워크가 병렬로 사용된다.핵심 메커니즘(수학적/알고리즘적 기반): DMD의 그래디언트는 학생과 교사 분포의 score 차이로 표현된다(문서 Eqn.6). 따라서 학생 분포 p_θ^t과 교사 p_teacher^t의 log-score(∇_x log p^t)를 맞추는 것이 목적이다. 학생이 few-step generator라 직접 score를 구하기 어렵기 때문에 fake-score 네트워크 ϕ를 학생 샘플에 학습시켜 근사한다. TF-CM(sCM/MeanFlow)은 teacher ODE 궤적의 접선(tangent)을 JVP로 계산해 continuous-time 일관성 손실을 구성한다. 구현 관점 수식 흐름 예시: [입력] packed forward로 [clean context, noisy target]을 구성 → [연산] TF mask로 causal attention 적용해 velocity/denoiser 출력 계산 → [결과] noisy 부분에만 회귀 손실 적용(예: RF velocity target v=ε−x_0) → [의미] clean context를 고정해 causal 컨텍스트 분포에서의 안정적 예측을 확보한다. JVP 연산 흐름: [입력] 프라이멀 출력과 상태 변화(teacher velocity) → [연산] 레이어별 JVP로 출력 탄젠트 계산 → [결과] f_θ의 시간/입력 방향 접선 h_TF-sCM 산출 → [의미] continuous-time consistency loss의 타깃이 됨.

논문에 명시된 한계: (1) frame-wise T2V에서 깊은 롤아웃(예: 4-step) 학습은 카메라 드리프트 같은 불안정성으로 장기간 학습에 취약하다. (2) 최상의 TF-sCM 초기화가 반드시 최종 SF-DMD 정제에서 최고 성능으로 이어지지 않으며, 초기화 품질과 정제 안정성 사이 불일치가 존재한다. (3) rCM과 같은 완전한 joint training은 인과적 설정에서 VBench ceiling을 낮추는 경향으로 인해 단계적 파이프라인을 사용했다. (4) 현재 custom-mask FlashAttention JVP 커널은 Triton으로 구현되어 있어 일부 고급 커널 대비 per-iteration 속도에서 뒤처진다.