WorldCache: 가속화된 비디오 월드 모델을 위한 콘텐츠 인식 캐싱

왜 중요한가

비디오 생성 모델은 매 단계 엄청난 연산이 필요해 실시간 시뮬레이션이 어려움. 이 논문은 별도의 학습 없이도 중복된 계산을 스마트하게 건너뛰어 품질 저하 없이 속도를 획기적으로 높이는 방법을 제시함.

핵심 기여

WorldCache 프레임워크 설계

비디오 DiT 모델의 추론 속도를 높이기 위해 별도의 학습 없이 적용 가능한 콘텐츠 인식형 캐싱 시스템임.

Causal Feature Caching(CFC) 메커니즘

장면의 물리적 움직임 속도에 따라 캐싱 임계값을 실시간으로 조절하여 고속 이동 시 발생하는 잔상 문제를 해결함.

Saliency-Weighted Drift(SWD) 감지 기술

특징 맵의 채널 분산을 활용해 시각적으로 중요한 영역의 변화를 우선적으로 감지하고 배경 노이즈로 인한 불필요한 재계산을 방지함.

Optimal Feature Approximation(OFA) 보간법

단순 특징 복사가 아닌 최소자승법 기반의 최적 보간과 움직임 보상 워핑을 적용해 캐시 재사용 시의 시각적 오차를 최소화함.

핵심 아이디어 이해하기

Diffusion 모델은 노이즈 상태에서 시작해 점진적으로 정답을 찾아가는 Denoising 과정을 거침. 이 과정은 수십 번의 반복 계산이 필요한데, 특히 비디오 생성에서는 각 프레임마다 무거운 Transformer 연산을 수행해야 하므로 실시간 처리에 한계가 있음. WorldCache는 연속된 생성 단계 사이의 특징값이 매우 유사하다는 점에 착안하여, 변화가 적을 때는 계산을 생략하고 이전 결과를 재사용하는 전략을 사용함. 하지만 단순히 이전 값을 복사하면 움직이는 물체가 잔상처럼 남는 Ghosting 현상이 발생하는데, 이를 해결하기 위해 실제 물리적 움직임의 크기를 실시간으로 측정하여 캐싱 여부를 결정함. 또한 화면 전체를 똑같이 취급하지 않고 시각적으로 중요한 물체가 있는 영역의 변화를 더 민감하게 살피며, 생성 후반부로 갈수록 캐싱을 더 과감하게 허용함으로써 품질은 유지하면서도 연산 속도를 2배 이상 끌어올림.

방법론

전체 구조는 Probe-Then-Cache 방식을 따름. 모델의 앞부분 몇 개 블록(Probe)만 먼저 실행하여 변화량( $\delta_t$ )을 측정하고, 이 값이 임계값보다 작으면 나머지 무거운 블록들을 건너뜀. CFC 메커니즘은 입력 잠재값의 2단계 전후 차이를 입력으로 하여 L1 노름을 계산하고 정규화함으로써 속도 값 $v_t$ 를 산출함. 이 수치는 장면의 물리적 속도를 의미하며, 이를 통해 임계값( $\tau_{CFC}$ )을 반비례하게 조절하여 빠른 움직임 시 캐싱을 억제함. SWD는 특징 맵의 채널별 분산을 입력으로 공간적 중요도 맵 $S_{h,w}$ 를 생성하여 변화량에 곱함. 이를 통해 가중치가 적용된 변화량 $\delta_t^{SWD}$ 를 얻고, 중요한 전경 객체의 변화를 배경 노이즈보다 민감하게 감지함. OFA는 이전 단계들의 잔차를 입력으로 최소자승법을 통해 현재 프로브 신호와 가장 잘 맞는 계수 $\gamma^*$ 를 계산함. 이를 통해 최적화된 보간값 $\hat{z}_t^{(N)}$ 을 도출하고, 캐시 재사용 시 발생하는 오차 누적을 수학적으로 최소화함.

주요 결과

Cosmos-Predict2.5-2B 모델에서 PAI-Bench 벤치마크 결과, 2.3배의 추론 속도 향상을 기록함. 이때 전체적인 생성 품질은 베이스라인 대비 99.4% 수준으로 매우 높게 유지됨. 14B 파라미터 규모의 대형 모델에서도 2.14배의 가속화 성능을 보이며 모델 크기에 관계없이 효과적임을 입증함. 기존 방식인 DiCache(1.3x)나 FasterCache(1.6x)보다 속도와 품질 면에서 모두 우수한 성능을 나타냄. Ablation study를 통해 CFC, SWD, OFA, ATS 각 모듈이 단계적으로 추가될 때마다 품질 손실을 최소화하면서도 가속도가 비약적으로 상승함을 확인함. 특히 ATS는 후반부 캐시 적중률을 36%에서 68%로 두 배 가까이 높이는 데 핵심적인 역할을 수행함.

기술 상세

WorldCache는 DiT 기반 월드 모델의 추론 효율성을 극대화하기 위해 설계된 훈련 불필요 프레임워크임. 기존의 Zero-Order Hold 방식이 가진 한계를 극복하기 위해 지각적 제약이 있는 동적 근사 전략을 채택함. 핵심인 CFC는 이전 단계의 캐시된 근사값이 아닌 가장 최근에 완전히 계산된 상태( $t-2$ )를 기준으로 움직임을 측정하여 오차 전파를 차단함. SWD는 특징 맵의 채널 분산을 시각적 복잡도의 대리 지표로 활용하여 객체의 경계나 텍스처가 복잡한 영역의 변화량에 높은 가중치를 부여함. OFA는 최소자승법을 통해 잔차 궤적을 정렬하는 OSI를 도입하여 단순 스칼라 비율 기반 보간보다 방향성 정보를 더 잘 보존함. 또한 잠재 공간에서의 다중 스케일 상관관계를 이용한 워핑을 통해 공간적 정렬을 수행함. ATS는 디노이징 공정의 단계별 특성을 반영하여 초기에는 엄격한 임계값을 적용하고, 후기에는 이차 함수 형태로 임계값을 완화하여 가속 효과를 극대화함.

한계점

급격한 시점 점프나 심한 가려짐과 같이 장면이 극도로 갑작스럽게 변하는 경우 캐시 적중률이 일시적으로 낮아질 수 있음.

실무 활용

별도의 모델 재학습 없이 추론 코드에 바로 삽입하여 사용할 수 있는 플러그앤플레이 방식의 가속화 솔루션임. 비디오 생성 모델의 높은 연산 비용 문제를 해결하여 실시간 시뮬레이션 환경 구축을 가능하게 함.

자율주행 AI 학습을 위한 고속 월드 시뮬레이터 구축
로봇 제어 에이전트의 실시간 미래 상태 예측
클라우드 기반 비디오 생성 서비스의 GPU 인프라 운영 비용 절감

코드 공개 여부: 공개

코드 저장소 보기

키워드

DiT(디퓨전 트랜스포머)World Model(월드 모델)Feature Caching(특징 캐싱)Inference Acceleration(추론 가속화)Motion Compensation(움직임 보상)

용어 해설

디퓨전 트랜스포머(DiT): — Diffusion 모델의 백본으로 Transformer 구조를 사용하는 아키텍처이다. 이미지나 비디오의 잠재 공간에서 패치 단위로 데이터를 처리하며, 기존 U-Net 기반 모델보다 확장성이 뛰어나 고해상도 비디오 생성 월드 모델의 표준으로 자리 잡고 있다.
디노이징(Denoising): — 생성 모델이 무작위 노이즈로부터 점진적으로 노이즈를 제거하며 유의미한 데이터를 만들어가는 과정이다. 비디오 생성에서는 수십 번의 반복적인 연산 단계가 필요하며, 이 과정에서의 높은 연산 비용이 실시간 시뮬레이션의 주요 장애물이다.
특징 캐싱(Feature Caching): — 딥러닝 모델의 추론 과정에서 중간 레이어의 계산 결과(특징값)를 메모리에 저장해 두었다가, 다음 단계에서 입력값이 크게 변하지 않았을 때 재사용하는 기술이다. 불필요한 중복 계산을 건너뛰어 전체 추론 속도를 획기적으로 높일 수 있다.
살리언시 맵(Saliency Map): — 이미지나 비디오 프레임 내에서 사람의 시선이 집중되거나 정보량이 많은 중요한 영역을 수치화한 지도이다. 이 논문에서는 특징 맵의 채널별 분산을 이용해 이를 계산하며, 중요한 객체의 변화를 우선적으로 감지하여 캐싱 품질을 높이는 데 사용한다.
움직임 보상(Motion Compensation): — 비디오 프레임 간의 물체 움직임을 추정하여 이전 프레임의 정보를 현재 프레임에 맞게 보정하는 기술이다. 캐싱된 특징값을 단순히 복사하지 않고 현재의 움직임에 맞춰 위치를 조정(Warping)함으로써 잔상이나 왜곡 없는 자연스러운 비디오 생성을 가능하게 한다.