PackForcing: 긴 비디오 샘플링과 긴 컨텍스트 추론을 위한 짧은 비디오 학습의 충분성

왜 중요한가

기존 비디오 생성 모델은 영상이 길어질수록 메모리 사용량이 급격히 늘어나고 내용이 반복되는 한계가 있었다. 이 논문은 과거 정보를 세 가지 유형으로 나누어 효율적으로 압축 관리함으로써, 일반 GPU 한 장으로도 일관성 있는 2분 길이의 영상을 만들 수 있게 한다.

핵심 기여

Three-partition KV-cache 전략

생성 이력을 Sink, Mid, Recent 토큰으로 분류하여 메모리 점유율을 엄격히 제한하면서도 전역적 문맥과 지역적 일관성을 동시에 유지한다.

Dual-branch 시공간 압축

3D 컨볼루션 기반의 고해상도 브랜치와 VAE 재인코딩 기반의 저해상도 브랜치를 결합해 중간 이력 토큰을 약 32배 압축하여 저장한다.

Incremental RoPE Adjustment

토큰 삭제로 발생하는 위치 정보의 불연속성을 추가적인 전체 캐시 재계산 없이 수학적으로 수정하여 장기 생성의 안정성을 확보한다.

24배 시간적 외삽 능력 입증

5초 길이의 짧은 클립으로만 학습했음에도 불구하고 제로샷 또는 최소한의 튜닝으로 120초 분량의 일관된 영상을 생성하는 성능을 보여준다.

핵심 아이디어 이해하기

Transformer 기반 비디오 모델은 과거 프레임 정보를 KV-cache에 저장해 다음 장면을 생성하지만, 영상이 길어질수록 이 캐시가 선형적으로 증가하여 메모리 부족이 발생하는 한계가 있다. PackForcing은 모든 과거 정보를 동일하게 취급하지 않고 역할에 따라 세 부분으로 나누어 관리한다. 초반 프레임은 Sink로 고정해 전체 주제를 유지하고, 중간 정보는 대폭 압축하며, 최근 정보는 원본 그대로 유지해 부드러운 움직임을 보장하는 원리이다. 특히 중간 정보를 압축할 때 세부 구조를 살리는 3D 컨볼루션과 전체적인 의미를 담는 VAE 재인코딩을 함께 사용하여 데이터 양은 32배 줄이면서도 모델이 과거의 맥락을 정확히 파악할 수 있게 한다. 결과적으로 138GB가 필요했던 2분 영상의 캐시 메모리를 단 4GB로 줄여 단일 GPU에서도 장시간 생성을 가능하게 한다.

방법론

전체 시스템은 Sink, Mid, Recent 토큰으로 구성된 계층적 KV-cache 구조를 기반으로 한다. Sink 토큰은 초기 프레임을 고해상도로 유지해 전체적인 장면의 정체성을 고정하고, Recent 토큰은 최신 프레임을 보존해 움직임의 부드러움을 유지한다. Mid 토큰 압축은 HR(고해상도) 브랜치와 LR(저해상도) 브랜치의 결합으로 이루어진다. HR 브랜치는 [입력: Latent z → 연산: Strided 3D Convolution → 출력 의미: 128배 압축된 구조적 특징]을 수행하고, LR 브랜치는 [입력: Latent z → 연산: Pixel-space Re-encoding → 출력 의미: 전역적 문맥 특징]을 생성하여 두 특징을 더해 최종 압축 토큰을 얻는다. Dynamic Context Selection은 [입력: Q, K → 연산: Dot-product Attention Score → 출력 의미: 상위 K개 블록 선택] 과정을 통해 메모리 내에서 가장 중요한 정보만 추론에 사용한다. 마지막으로 Incremental RoPE Adjustment는 Sink 토큰의 Key에 [입력: k_sink → 연산: 시간축 회전 행렬 곱셈 → 출력 의미: 삭제된 프레임만큼의 위치 인덱스 보정]을 적용하여 위치 연속성을 확보한다.

주요 결과

VBench 벤치마크 결과, 60초 및 120초 비디오 생성 모두에서 기존 SOTA 모델인 CausVid를 능가하는 최고 수준의 Dynamic Degree(56.25, 54.12)를 기록했다. 텍스트와 영상의 일치도를 측정하는 CLIP Score 분석에서는 60초 생성 과정 동안 점수 하락폭이 1.14점에 불과하여, 경쟁 모델인 Self-Forcing이 6.77점 하락한 것과 대조적으로 탁월한 문맥 유지 능력을 보였다. 메모리 효율성 측면에서는 2분 분량 영상 생성 시 KV 캐시를 약 4.2GB로 억제하며 단일 H200 GPU에서 안정적인 구동을 확인했으며, 이는 압축되지 않은 전체 캐시 대비 약 33배의 메모리 절감 효과이다.

기술 상세

PackForcing은 Wan2.1-T2V-1.3B 백본을 기반으로 하며, 모든 Transformer 레이어에서 고정된 크기의 어텐션 컨텍스트(약 27,872 토큰)를 유지하도록 설계되어 학습과 추론 간의 시퀀스 길이 차이 문제를 해결한다. Dual-branch 압축 모듈은 3D CNN 기반의 HR 경로와 VAE 기반의 LR 경로를 병렬로 운영하여 128배 볼륨 압축을 수행하면서도 의미적 보존력을 높인다. Dynamic Context Selection은 연산 오버헤드를 줄이기 위해 쿼리 토큰 서브샘플링과 하프-헤드 평가 기법을 사용하며, 첫 번째 디노이징 단계에서만 인덱스를 계산하고 캐싱하는 전략을 취한다. 학습 과정에서는 20개의 Latent 프레임으로 구성된 짧은 클립을 사용하여 Score Distillation 방식으로 압축 레이어를 최적화하며, 이를 통해 압축된 토큰과 원본 토큰이 동일한 잠재 공간 내에서 정렬되도록 유도한다.

한계점

고정된 압축률이 장면의 복잡도에 따라 가변적으로 조절되지 않으며, 어텐션 기반 중요도 점수가 시각적 현저성의 모든 측면을 포착하지 못할 수 있다. 또한 4K와 같은 초고해상도 확장 시 공간 압축과 품질 사이의 상호작용에 대한 추가 검증이 필요하다.

실무 활용

장시간 비디오 생성이 필요한 콘텐츠 제작 도구나 스트리밍 서비스에 즉시 적용 가능한 효율적인 아키텍처를 제공한다.

광고 및 영화 산업을 위한 1분 이상의 고화질 홍보 영상 자동 생성
게임 내 실시간 이벤트 컷신 생성 및 스트리밍
긴 시간의 일관성이 중요한 교육용 애니메이션 제작

코드 공개 여부: 공개

코드 저장소 보기

키워드

Autoregressive Video Diffusion(자기회귀 비디오 확산 모델)KV-cache(키-값 캐시)Spatiotemporal Compression(시공간 압축)Temporal Extrapolation(시간적 외삽)VBench(비디오 벤치마크)

용어 해설

키-값 캐시(KV-cache): — Transformer 모델에서 이전 단계의 계산 결과를 저장해 재사용하는 메모리 영역이다. 비디오 생성 시 과거 프레임 정보를 담고 있어 일관성 유지에 필수적이지만, 영상이 길어질수록 용량이 선형적으로 증가하여 메모리 부족 문제를 야기한다.
회전 위치 임베딩(RoPE): — 토큰의 상대적 위치 정보를 회전 행렬을 통해 주입하는 기법이다. PackForcing에서는 토큰 삭제 후 발생하는 위치 불연속성을 해결하기 위해 이 회전 값을 미세하게 조정하여 전체 캐시 재계산 없이 위치 연속성을 유지한다.
자기회귀 모델(Autoregressive Model): — 과거의 데이터를 바탕으로 다음 데이터를 순차적으로 예측하는 모델이다. 비디오 생성에서는 이전 프레임들을 참고하여 다음 프레임을 한 블록씩 만들어가는 방식을 의미하며, 장기 생성 시 오차 누적 문제가 발생하기 쉽다.
3D 컨볼루션(3D Convolution): — 가로, 세로 공간 정보뿐만 아니라 시간 축까지 동시에 연산하는 필터 기술이다. 영상의 연속적인 움직임과 공간적 특징을 한꺼번에 추출하고 압축하는 데 효과적이며, PackForcing의 고해상도 압축 브랜치에서 핵심 역할을 한다.
변이형 오토인코더(VAE): — 데이터를 저차원의 잠재 공간으로 압축했다가 다시 복원하는 신경망이다. 이 논문에서는 영상의 전체적인 의미를 유지하면서 데이터 크기를 줄이는 재인코딩 과정에 활용되어 중간 이력 토큰의 효율적인 보존을 돕는다.

PackForcing: 긴 비디오 샘플링과 긴 컨텍스트 추론을 위한 짧은 비디오 학습의 충분성

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드