WorldKV: 월드 메모리의 효율적 저장·검색을 위한 World Retrieval 및 Compression

자율적 영상 세계 모델은 과거의 시점 컨텍스트를 유지하는 것이 중요한 반면, KV-cache의 전체 히스토리 접근은 계산과 메모리 비용을 기하급수적으로 증가시킨다. Sliding-window 접근은 속도는 보장하지만 재방문 시 일관된 내용을 잃게 한다. WorldKV는 이미 모델의 KV-cache를 활용해 Viewing-과 Action-기반의 재검색과 비중복 토큰 압축을 병행함으로써, 학습 없이도 재방문 시점의 일관성과 실시간 성능 사이의 균형을 달성한다.

단계별 직관

• 출발점과 한계: 자동회귀형 비디오 디퓨전 모델에서 KV-cache는 과거 프레임의 키-값 벡터를 저장하고 현재 프레임의 denoise에 사용한다. 전체 KV-cache를 모든 프레임에 걸쳐 읽으면 연산량과 VRAM 사용이 선형적으로 증가해 실시간 제어가 불가능해진다. Sliding-window 방식은 처리량을 보장하지만 원래의 장기 기억이Evicted되면서 revisit 시 일관성을 잃는다.
• 해결 원리: World Retrieval은 evicted KV-cache를 저장하고 revisit 시 현재 뷰와 시야가 겹치는 과거 KV-cache를 Top-k로 선택해 재삽입한다. 이때 sim(·,·)은 카메라 자세/액션 해석 또는 쿼리 가중치를 사용할 수 있어, 다양한 신호에 대해 재검색이 가능하다.
• 달라지는 점: World Compression은 인접 프레임 간의 중복 정보를 제거해 각 chunk의 저장 비용을 절반 수준으로 낮춘다. anchor 프레임과의 Key-Key 유사도 기반 pruning으로 새로운 정보는 보존하고, 중복 정보는 제거한다. 이 두 요소를 합치면 동일 메모리 예산에서 더 많은 과거 Chunk를 커버하게 되며, revisit fidelity를 유지한다.

전체 접근 방식

• WorldKV는 sliding-window inference 위에 두 가지 보완 컴포넌트를 얹는다: World Retrieval과 World Compression.
• World Retrieval: evicted KV-cache를 저장하고 revisit 시 현재 카메라/액션 상태에 따라 top-k 조각을 선택하여 R에 채운다. 실시간 제약을 유지하기 위해 top-k 선택은 sim(acur, ai) 합성 함수로 수행된다. R = Top-k (sim(acur, ai) | i = 1, ..., M).
• World Compression: 3-frame chunk에서 anchor를 첫 프레임으로 고정하고, non-anchor 프레임의 키 벡터를 anchor 프레임 키와의 average cosine similarity로冗長성(scores)을 계산한다. bottom P%를 남겨 chunck를 1.5T 토큰으로 축소한다. 이때 각 layer마다 독립적으로 수행되며, retrieval 시 각 layer는 retained tokens를 참조한다.
• 구현 세부: 18 latent 프레임의 슬라이딩 윈도우를 sink( 3 frame ), retrieval( 9 frame ), recent( 3 frame ), denoise( 3 frame)로 구분한다. Compression은 매 chunk 저장 시 anchor를 보존하고 non-anchor를 25% retention으로 압축한다. Retrieval은 camera pose가 직접 주어지는 LingBot-World-Fast와, discrete actions을 누적하여 구성하는 Matrix-Game-2.0에서 동일 전략으로 작동한다.
• 수식/알고리즘: World Retrieval의 재검색은 R = Top-k (sim(accur, ai) | i = 1, ..., M)이며, World Compression은 s(f)j = (1/T) sum_i k(f)j^T k(a)i / (||k(f)j|| ||k(a)i||)로 anchor 프레임의 키와 non-anchor 키 간 코사인 유사도를 계산하고, bottom P%를 retention한다. 실험 설정은 18 latent-frames window, anchor+retained tokens, 2× 압축으로 요약된다.

주요 벤치마크에서 WorldKV는 전체 KV-cache 어텐션과 메모리 trained baselines에 근접한 재방문 품질을 제공한다. LingBot-World-Fast에서 Full KV 대비 LPIPS 0.455 vs 0.441, PSNR 15.660 vs 15.901, SSIM 0.463 vs 0.472, FID 75.644 vs 85.705로 나타났고, Throughput은 WorldKV 4.78 FPS, Full KV 2.36 FPS로, 약 2×의 차이를 보인다. Matrix-Game-2.0에서는 Full KV 7.82 FPS, WorldKV 16.25 FPS로 2× 이상 향상된 처리량을 보이며, LPIPS 0.462 vs 0.529, PSNR 14.101 vs 13.748, SSIM 0.405 vs 0.364, FID 93.561 vs 124.912로 더 우수한 재방문 품질을 보인다.

• World Compression Ablation: intra-chunk에서 3→1.0(anchor-only) 보다는 3→1.5 또는 3→2.0이 성능을 더 안정적으로 보존한다. inter-chunk에서 6→3은 3→3 대비 더 넓은 히스토리 커버리지를 제공하며, 지나친 압축(9→3)은 성능을 저하시킨다. Matrix-Game-2.0에서는 WorldKV가 Full KV를 능가하는 경우가 있으며, LingBot-World-Fast에서도 FID를 개선하는 경향이 관찰된다.

아키텍처 구성: WorldKV는 sliding-window 기반 AR 비디오 디퓨전 모델 위에 World Retrieval과 World Compression의 두 모듈을 추가한다. 월드 Retrieval의 핵심은 evicted KV-cache를 저장하고, 현재 뷰 acur에 따른 top-k 후보를 선택하는 알고리즘이다. sim(·,·)은 camera+/action 기반 신호나 query 기반 신호로 구현될 수 있다. 선택된 KV-cache 조각은 현재 denoising Chunk 영역에 비재-Encoding 없이 직접 삽입된다. 월드 Compression의 핵심은 anchor 프레임을 기준으로 non-anchor 프레임의 키 벡터 간 코사인 유사도를 구하고, bottom P%를 유지하는 방식으로 중복 정보를 제거하는 것이다. 이로써 chunk 당 토큰 수가 대략 1.5T로 줄어들며, fixed budget에서 더 많은 과거 프레임을 확보할 수 있다. 학습/재현적 분석: WorldKV의 Retrieval은 camera/action 기반이 기본값이며, query 기반은 Appendix C에 대한 ablation에서 확인된다. 전체 시스템은 training-free로 구성되며, CPU offloading을 통해 VRAM 사용량을 줄일 수 있다(단, CPU-GPU 간 데이터 전송 대기시간이 실시간에 영향을 줄 수 있음).

본 프레임워크는 frozen backbone 위에서 작동하는 메모리 관리 기법으로, 생성 품질은 기본 모델의 품질에 의존한다. 긴 롤아웃에서 누적 오류 가능성이 있으며, CPU 오프로드의 전송 латency가 실시간 성능에 영향을 줄 수 있다. 향후 파인튜닝과의 결합 없이도 더 긴 시퀀스에서의 안정성을 높이기 위한 학습 전략이 필요하다.