JoyAI‑Video‑Edit: 실시간 자율회귀 비디오 편집

실시간 스트리밍 환경에서 비디오 편집은 인과성, 낮은 지연, 제한된 계산·메모리 자원, 그리고 장기간 안정성이라는 서로 상충하는 요구사항을 동시에 충족해야 한다. JoyAI-Video-Edit은 자율회귀 확산 아키텍처와 소스-고정형 증류(SA‑DMD), 장기 증류를 결합해 반복적 디노이징을 두 단계로 줄이면서도 소스 충실도와 장기 일관성을 유지하도록 접근한다. 따라서 실시간 방송, 원격 통신, 대화형 콘텐츠 제작 등에서 즉시 편집 결과를 제공하면서 품질 저하를 최소화할 수 있다는 점에서 실무적 의미가 크다.

일반적인 bidirectional 편집기는 전체 클립을 참조해 고품질 결과를 산출하지만 미래 프레임에 의존하므로 실시간 인과 출력이 불가능하다. 본 논문은 입력을 고정 길이 청크로 분할하고 청크 내부는 양방향, 청크 간에는 인과(attention)로 제한하는 구조를 통해 인과적 세대와 고정된 단계 비용을 확보한다. 훈련 시에는 깨끗한 히스토리 교사와 모델 생성 히스토리를 번갈아 노출시키고(source‑anchored distillation, resampling forcing, long‑horizon distillation) few‑step 학생으로 압축해 소스 충실도와 장기 안정성을 동시에 유지한다.

전체 학습은 단계적(curriculum)으로 진행되어 먼저 T2I 고해상도 사전학습으로 공간 표현을 확보하고, 이를 초기화로 삼아 T2V에서 시공간 모델링을 도입했다. 이후 I2I와 V2V/IV2V 감독으로 편집 능력을 학습한 다음 청크 단위로 bidirectional → causal 적응을 수행하며 resampling forcing으로 학습·추론 분포 차이를 좁혔다. 최종적으로 SA‑DMD로 iterative teacher의 실점수를 소스 축과 텍스트 축으로 분리해 소스 앵커를 도입하고, segmented long‑horizon distillation으로 긴 롤아웃 상태를 직접 감독해 few‑step 학생을 얻는다.

자동 평가에서 OpenVE‑Bench 전체 점수는 3.60으로 기존 스트리밍 방법들보다 유의미하게 높았고 로컬 변경·제거 항목에서 특히 우수했다. 긴 비디오 벤치 LongV2VBench에서는 전체 3.30을 기록했으며 논문에 보고된 end‑to‑end 처리율은 단일 Nvidia B200에서 약 30.19 FPS(720×1280)이다. 사람 평가에서는 LiveEdit·SANA·XMax·StreamDiffusionV2 대비 각각 90%, 87%, 81%, 87%의 선호율을 얻었고 오프라인 강력한 모델과의 비교에서는 Bernini‑R과의 대결에서 48% 대 44%로 경쟁력을 보였다.

시스템은 MLLM 기반 조건 인코더, 인과적 비디오 VAE(시공간 압축비 8×24×24), 그리고 MM‑DiT(multimodal diffusion transformer)를 결합한 구조이다. 청크 내에서는 양방향 attention을 허용하고 청크 간에는 인과 attention을 적용하며, 슬라이딩 윈도우와 첫 청크의 글로벌 싱크를 유지해 메모리와 연산을 고정 비용으로 억제한다. SA‑DMD는 교사의 실점수에 대해 텍스트 조건과 소스 충실도 두 축의 classifier‑free guidance를 적용해 소스‑앵커된 목표를 만든다; 수식은 다음과 같다: $v_{\phi}^{g}=v_{\phi}^{\mathrm{cond}}+w_{\mathrm{txt}}(v_{\phi}^{\mathrm{cond}}-v_{\phi}^{-\mathrm{txt}})+w_{\mathrm{src}}(v_{\phi}^{\mathrm{cond}}-v_{\phi}^{-\mathrm{src}})$. 여기서 $v_{\phi}^{g}$는 가이드된 실점수, $v_{\phi}^{\mathrm{cond}}$는 텍스트·소스 조건을 모두 포함한 실점수, $v_{\phi}^{-\mathrm{txt}}$와 $v_{\phi}^{-\mathrm{src}}$는 각각 텍스트 또는 소스 조건을 제거한 실점수이며 $w_{\mathrm{txt}},w_{\mathrm{src}}$는 조정 계수이다. 이 값을 이용해 교사 예측과 학생 예측의 정규화된 차이를 최소화하는 방향으로 학생 생성기를 업데이트하고, fake‑score는 flow‑matching으로 학습한다.

논문은 고품질 페어드 편집 데이터를 대규모로 확보하는 것이 난제임을 명시하며 이미지→비디오 전파와 잠재공유 I2V 합성을 통해 이를 완화했다. 또한 전체 모델이 16B 규모로 학습·배포 최적화가 필요하며 논문에서 제시한 실시간 성능은 Nvidia B200과 FP8 같은 특정 하드웨어·소프트웨어 스택에 의존한다. 마지막으로 SA‑DMD와 장기 증류는 학습 파이프라인과 하이퍼파라미터 튜닝이 복잡하며 전이·확장 시 추가 실험이 요구된다.