Echo-Forcing: 인터랙티브한 롱비디오 생성을 위한 Scene Memory 프레임워크

인터랙티브 롱비디오 생성은 프롬프트 변경과 장면 전환이 잦아 과거 정보의 무효화와 기억 충돌이 발생한다. Echo-Forcing은 historical KV states를 preserve-recall-forget의 라이프사이클로 관리하여 긴 시퀀스에서도 안정성과 프롬프트 대응성을 동시에 달성한다.

1. 기본 아이디어: 비디오 생성에서 과거의 KV 캐시는 단일 정책으로 다루면 프롬프트 교체나 긴 시퀀스에서 과거 세부 정보가 현재 요구와 충돌한다. 이로 인해 지속성은 유지되되 반응성이 떨어지거나, 반대로 반응성은 좋으나 장면 일관성은 흔들리는 문제가 생긴다. KV 캐시를 단순한 버퍼가 아닌 ‘Scene Memory’로 보고 수명주기( preserve, recall, forget )를 부여한다. 2) 해결 원리: Hierarchical Temporal Memory로 Anchors-History-Recent를 분리하고, Scene Recall Frames로 과거 장면의 구조를 압축 저장한다. Difference-aware Memory Decay로 transition 시 충돌하는 기억을 점진적으로 제거한다. 3) 기대 효과: 안정적인 롱해링(긴 시퀀스) 생성과 prompt-switching 시 빠른 반응성을 모두 달성하고, bounded cache 내에서 long-range memory를 유지한다. 4) 보강 요소: Relative RoPE로 긴 롤아웃에서도 위치 인코딩의 불안정성을 피하고, 드리프트 시나리오에 적응하는 drift gate으로 동적 응답을 조절한다. 5) 결과적 이점: 긴 비디오에서도 비주얼 품질과 시간적 일관성, 텍스트-비디오 정렬, 시퀀스 간의 매끄러운 전환을 개선한다.

1. 전체 접근 방식: Echo-Forcing은 training-free한 scene-memory 프레임워크로, autoregressive video diffusion의 historical KV를 구조화된 기억으로 재구성한다. bounded cache budget 내에서 Anchor-Compressed-Recent의 세 영역으로 KV를 관리한다. 2) Hierarchical Temporal Memory: 초기 앵커(early anchors), 압축 역사(compressed history), 최근 윈도우(recent windows)를 분리하고, RoPE의 상대적 확장을 사용해 시간 정보를 안정적으로 처리한다. 앵커 풀은 Nanc 크기, 업데이트 시점은 r에 따라 Ar = (Eur... Eur+S-1) 또는 역방향 순회로 갱신된다. 3) Drift-gated Phase Compression: stable한 pre-RoPE 쿼리 센터 q_bar를 만들고, 최근 쿼리 분포의 drift를 gb로 제어하여 Score_j를 구성한다. Score_ph_j,o는 각 토큰의 미래 쿼리와의 위상 정합을 기반으로 계산되며 AMP_j는 쿼리의 크기 보정 항이다. Drift gate gb는 exp[-λ(1-cos(q_bar_rec, q_bar))]로 정의된다. 4) Scene Recall Frames: s번째 장면에서 M개의 후보 블록 Cs를 뽑아, 각 공간 토큰 u에 대해 es,j,u = sim(q_bar_s,u, k_raw_s,j,u)를 계산하고 α_s,j,u = Softmax(es,j,u)로 가중치를 부여한다. Krec_s,u, Vrec_s,u는 각각 가중합으로 얻는다. Es는 scene memory 풀에 저장된다. 5) Difference-aware Memory Decay: 전이 후 old-token의 discrepancy di를 1 - cos(k_old_i, k_new_i)로 계산하고, δ_i를 정규화한 다음 μ_i를 계산한다. r번째 생성에서 w_i^(r) = exp(-r μ_i)로 Decay를 적용하고, q의 어텐션 로그잇 e_i와 출력 o_r를 각각 조정한다. 이로써 충돌하는 오래된 기억은 점차 어텐션에서 배제되고, 새로운 장면의 특징이 우선한다. 6) Relative RoPE extrapolation: 절대 프레임 인덱스를 0~L-1 범위의 상대 인덱스로 매핑해 로케이션-의존 정보를 보존한다. 7) 계산 비용: Oextra = O(Ncand + M + B)로 표현되며, 고정된 캐시 예산 내에서 연산과 메모리 사용을 제한한다.

주요 벤치마크 결과: 긴 비디오 생성에서 VBench-Long 기준 60s/120s에서 Echo-Forcing은 FPS 15.71를 유지하며 Aesthetic Quality 61.69, Background Consistency 97.17, Imaging Quality 72.09, Subject Consistency 97.17, Motion Smoothness 98.79, Temporal Flickering 98.28, Dynamic Degree 47.59를 달성했다. 120s에서도 유사하게 강한 안정성과 품질을 보였다(0.68–0.83대의 지표에서 강한 성능 유지). 표 1에서 Ours가 최상위 혹은 근접 최상위 값을 차지한다. 인터랙티브 비디오 생성에서 Text Alignment, Subject Consistency, Background Consistency, 및 Visual 품질 면에서 우수한 성능을 보인다. 표 2의 Unfine-tuned 설정에서 Ours는 Text Align 27.94, Subject Consist. 93.19, Background Consist. 92.63, Imaging Quality 69.21를 기록했고, Cut/Recall/Smooth 모드에서도 최상위 혹은 상위 성능을 보인다. Fine-tuned 설정에서도 Ours가 Smooth, Cut, Memory에서 상위 수치를 유지했다(예: 29.77, 34.27, 32.58 등). Ablation으로 AMP 제거 및 Drift Gate 없이 비교했을 때 Temporal Degree가 현저히 감소하고, Drift Gate를 포함한 Full 디자인이 Background Consistency, Motion Smoothness, Temporal Flickering 및 Dynamic Degree에서 최적의 성능을 보였다(Table 3). 사용자 연구에서도 Long-video에서 Text Alignment 3.52, Motion Smoothness 3.64, Video Quality 3.41로 최상위를 차지했고, Interactive 비디오에서도 Text Alignment 3.80, Motion 3.78, Video Quality 3.68로 우수한 평가를 받았다(Table 4–5).

:[{