EverAnimate: Latent Flow Restoration으로 분 단위 인간 애니메이션 생성

긴 호라이즌 애니메이션은 프레임 간 drift으로 인해 배경의 텍스처 손상과 인물 아이덴티티 불일치를 초래한다. 기존의 이미지-공간 carry-over와 attention sink은 시간이 지남에 따라 누적 오차를 축적하고 품질 저하를 일으킨다. EverAnimate은 cross-chunk 의미를 잠재 공간에서 전달하고, 샘플링 시 intrinsic restoration을 통해 drift를 보정하므로 분 단위의 긴 애니메이션에서도 시각적 일관성 및 인물 동일성 보존이 가능해진다.

출발점: 긴 호라이즌 영상 생성에서 배경은 정적이고 인물은 빠르게 움직이는 상황에서, cross-chunk 반복 재구성은 텍스처 저하와 인물 아이덴티티 drift를 유발한다. 기존의 image-space carry-over와 attention sinks는 장시간에 걸친 안정성을 제공하지 못한다. 논문은 잠재 공간에서 cross-chunk semantics를 지속적으로 전달하고, 샘플링 시 drift를 보정하는 intrinsic restoration을 도입한다. 해결 원리: (1) Persistent Latent Propagation으로 Mmot와 Mid를 활용해 모션/아이덴티티 기억을 유지하고 cross-chunk carry-over를 강화한다. (2) Restorative Flow Matching으로 샘플링 중 perturbation을 받았을 때 경로를 정교하게 보정하는 벡터를 학습한다. 달라지는 점: (a) 이미지-공간 carry-over의 누적 문제를 해결하고 latent space에서의 연속성 유지에 집중한다. (b) 단일 참조 프레임에 의한 attention sink만으로는 충분치 않으므로 다-view 정체성 메모리와 보정 메커니즘을 병행한다.

설계의 핵심은 두 가지 구성 요소다. 먼저 두 챙크 간의 컨텍스트 메모리(Mctx)를 구성해 V(2) 생성을 안내한다. Mctx는 모션 메모리(Mmot)와 정체성 메모리(Mid)로 이루어지며, 다중 뷰 샘플링으로 다양한 view의 정체성을 확보한다. 이 메모리는 X(2)t에 Epose(Cpose)로 포즈를 주입하는 단계 이후 DiT 입력에 결합된다. 메모리 토큰은 Xpad(Null latent block)로 시간 축 길이를 맞춘다. 두 번째 구성 요소는 Restorative Flow Matching(RFM)이다. 각 단계에서 노이즈가 추가된 상태 X0에서 X1으로의 경로를 따라가되, perturbation Xe가 주어지면 Xt에서의 속도 벡터를 Ut,restoration term과 결합해 Xet로 보정한다. 이때 λ(t)로 보정 강도를 스케줄링한다. 학습 목표는 LRFM로, Het, t | C를 사용해 유사한 경로를 재구성하도록 벡터 필드를 학습한다. 학습은 두 단계로 진행된다. (i) Memory adaptation: 기존 이미지-투-비디오 기반 모델에 메모리 조건을 맞춰 FM 손실 LFM으로 학습한다. (ii) Anti-drift adaptation: LRFM으로 drift 억제를 강화한다. 추론 단계에서 각 챤크는 이전 챤크의 마지막 r latent를 모티브로 사용하고, 디코딩 없이 동일한 latent 공간에서 다음 챈크를 생성한다.

주요 벤치마크에서 일관된 성능 향상을 보인다. 10s에서 Ours는 PSNR 25.238, SSIM 0.895, LPIPS 0.169, FID 38.277 등으로 Wan-Animate 대비 우수하다. 60s에서 PSNR 23.857, SSIM 0.855, LPIPS 0.194, FID 26.241 등으로 개선된다. 90s에서도 PSNR 22.646, SSIM 0.810, LPIPS 0.220, FID 23.981 등으로 안정성을 유지한다. Ablation은 각 구성요소의 기여를 확인하는데, w/o RFM은 PSNR 21.842, w/o PLP는 22.317으로 저하되며 Full model(=EverAnimate)이 가장 높은 품질과 일관성을 보인다. 시각적 비교(주요 Figure 7)에서 Long-horizon에서도 배경과 인물 아이덴티티가 일정하게 유지되며, drift가 줄어든 것을 확인할 수 있다.

아키텍처: DiT 기반 비디오 VAE 인코더(E), 디코더(D) 및 vθ 조건 벡터를 사용한다. 컨텍스트 토큰은 Mmot, Mid, Xpad를 연결(CONCAT)하고 포즈(Cpose, Cpose_faceo) 정보를 포즈 어댑터(Epose)로 주입한다. Face guidance는 Eface를 통해 중간 블록의 교차 주의(attention)로 주입한다. 학습 목표는 LFM에서 vθ(Ht, t | C(2))의 차이를 UT와 비교하는 것이다. Restorative Flow Matching은 X0에서 X1로의 경로를 따라가며 perturbation ξ에 의해 생성된 Xe를 활용해 Xet를 정의하고, 최적의 속도 Uet,exact를 구한다. 그러나 1−t 분모의 보정계수는 수치적으로 불안정하므로 λ(t)로 보정한다. λ(t)의 간단한 형식은 Gaussian 형태이며, 트레이닝 안정성을 위해 0-가능 구간에서 과도 보정이 발생하지 않도록 한다.