FORCING-KV: 효율적인 Autoregressive 비디오 확산 모델을 위한 하이브리드 KV 캐시 압축

AR 비디오 확산 모델은 과거 프레임의 KV 캐시를 축적하는 동안 메모리 비용과 주의 계산량이 급증한다. 본 논문은 헤드별 기능 차이를 발견하고, static heads는 트랜지션 앵커 프레임에 집중하도록 고정적으로 보존하고, dynamic heads는 인접 프레임 간의 segment-wise 유사도에 기반한 동적 압축을 적용한다. 이를 통해 출력 품질은 유지하면서 KV 캐시 크기를 줄이고 추론 속도를 크게 향상시킨다.

AR 비디오 확산은 누적되는 KV 캐시의 크기와 주의 비용이 큰 제약이다. Static Head는 현재 프레임과 가장 최근 프레임에 치중해 로컬 구조를 보존하고, Dynamic Head는 시간 축에 걸친 영역을 따라 움직임/일관성을 포착한다. 오프라인 헤드 프로파일링으로 두 유형을 구분한 뒤, static-head는 transition anchor frame을 보존하는 구조적 프루닝으로, dynamic-head는 segment-wise similarity를 활용한 동적 프루닝으로 처리하면, 품질 저하 없이 캐시를 크게 줄이고 속도를 높일 수 있다.

헤드 프로파일링 방법: 각 헤드의 attention mass를 전체 window에서 local frames에 집중하는 정도로 평가하고, 헤드 타입을 Static 또는 Dynamic으로 분류한다. Static Head의 압축은 다음과 같은 구조적 규칙을 따른다: O_static_i = Attention(Q_i, C_f)에서 K/Sink 프레임과 현재 프레임의 KV를 고정적으로 보존한다. Dynamic Head의 압축은 인접 프레임 간의 구간을 n개로 분할하고 각 구간의 코사인 유사도를 계산해 가장 유사한 상위 rn 구간을 제거하고 남은 구간만 KV를 유지한다. 이때 K, V는 각각 키/값 상태를 나타내고, Sink 프레임은 제거하지 않는다. FP8 양자화와 같은 추가 최적화도 적용 가능하다.

메인 벤치마크에서 5초/30초/60초 영상 실험의 FPS 상승 및 속도향상 수치를 제시한다. LongLive에서 FORCING-KV는 1.30×의 속도향상, Self Forcing에서 1.50×의 속도향상을 달성했고, 480P에서 KV 캐시 메모리 약 30%를 감소시켰다. 1080P 해상도에서 속도향상은 최대 2.82×까지 확장되며 메모리 감소율은 약 30%에 이른다. Ablation 연구에서 head profiling의 효과와 static/dynamic head의 각각의 캐시 제거 효과를 확인했다. 5초 영상에서 FORCING-KV는 1.35×/1.44×의 속도향상과 약간의 품질 유지를 보였고, 30초 영상에서 큰 폭의 dynamic degree 개선과 chunk discontinuity 감소를 보였다. 사용자 연구에서도 주관적 영상 품질과 시간적 역동성이 개선되었다.

아키텍처: autoregressive 비디오 확산 Transformer에서 KV cache를 활용하며, static_head와 dynamic_head를 오프라인에서 분류한 뒤 각각에 대하여 다른 압축 전략을 적용한다. Static Head의 구조적 프루닝은 transition anchor frame과 현재 chunk의 KV를 보존하고, sink 프레임은 보존한다. Dynamic Head의 압축은 segment-wise similarity를 이용해 인접 프레임 간의 중복되는 영역을 제거하고, 남은 영역의 KV만 self-attention에 사용한다. 이때 first block의 key 상태만을 사용한 segment-wise similarity 계산으로 비용을 줄인다. 실험은 LongLive, Self Forcing 등에서 다양한 해상도와 길이의 영상에서 평가되었다. FP8 양자화는 주된 주의 연산에 적용되어 처리량을 추가로 증가시킨다.