WorldCache: 가속화된 비디오 월드 모델을 위한 콘텐츠 인식 캐싱

비디오 생성 모델은 매 단계 엄청난 연산이 필요해 실시간 시뮬레이션이 어려움. 이 논문은 별도의 학습 없이도 중복된 계산을 스마트하게 건너뛰어 품질 저하 없이 속도를 획기적으로 높이는 방법을 제시함.

Diffusion 모델은 노이즈 상태에서 시작해 점진적으로 정답을 찾아가는 Denoising 과정을 거침. 이 과정은 수십 번의 반복 계산이 필요한데, 특히 비디오 생성에서는 각 프레임마다 무거운 Transformer 연산을 수행해야 하므로 실시간 처리에 한계가 있음. WorldCache는 연속된 생성 단계 사이의 특징값이 매우 유사하다는 점에 착안하여, 변화가 적을 때는 계산을 생략하고 이전 결과를 재사용하는 전략을 사용함. 하지만 단순히 이전 값을 복사하면 움직이는 물체가 잔상처럼 남는 Ghosting 현상이 발생하는데, 이를 해결하기 위해 실제 물리적 움직임의 크기를 실시간으로 측정하여 캐싱 여부를 결정함. 또한 화면 전체를 똑같이 취급하지 않고 시각적으로 중요한 물체가 있는 영역의 변화를 더 민감하게 살피며, 생성 후반부로 갈수록 캐싱을 더 과감하게 허용함으로써 품질은 유지하면서도 연산 속도를 2배 이상 끌어올림.

전체 구조는 Probe-Then-Cache 방식을 따름. 모델의 앞부분 몇 개 블록(Probe)만 먼저 실행하여 변화량($\delta_t$)을 측정하고, 이 값이 임계값보다 작으면 나머지 무거운 블록들을 건너뜀. CFC 메커니즘은 입력 잠재값의 2단계 전후 차이를 입력으로 하여 L1 노름을 계산하고 정규화함으로써 속도 값 $v_t$를 산출함. 이 수치는 장면의 물리적 속도를 의미하며, 이를 통해 임계값($\tau_{CFC}$)을 반비례하게 조절하여 빠른 움직임 시 캐싱을 억제함. SWD는 특징 맵의 채널별 분산을 입력으로 공간적 중요도 맵 $S_{h,w}$를 생성하여 변화량에 곱함. 이를 통해 가중치가 적용된 변화량 $\delta_t^{SWD}$를 얻고, 중요한 전경 객체의 변화를 배경 노이즈보다 민감하게 감지함. OFA는 이전 단계들의 잔차를 입력으로 최소자승법을 통해 현재 프로브 신호와 가장 잘 맞는 계수 $\gamma^*$를 계산함. 이를 통해 최적화된 보간값 $\hat{z}_t^{(N)}$을 도출하고, 캐시 재사용 시 발생하는 오차 누적을 수학적으로 최소화함.

Cosmos-Predict2.5-2B 모델에서 PAI-Bench 벤치마크 결과, 2.3배의 추론 속도 향상을 기록함. 이때 전체적인 생성 품질은 베이스라인 대비 99.4% 수준으로 매우 높게 유지됨. 14B 파라미터 규모의 대형 모델에서도 2.14배의 가속화 성능을 보이며 모델 크기에 관계없이 효과적임을 입증함. 기존 방식인 DiCache(1.3x)나 FasterCache(1.6x)보다 속도와 품질 면에서 모두 우수한 성능을 나타냄. Ablation study를 통해 CFC, SWD, OFA, ATS 각 모듈이 단계적으로 추가될 때마다 품질 손실을 최소화하면서도 가속도가 비약적으로 상승함을 확인함. 특히 ATS는 후반부 캐시 적중률을 36%에서 68%로 두 배 가까이 높이는 데 핵심적인 역할을 수행함.

WorldCache는 DiT 기반 월드 모델의 추론 효율성을 극대화하기 위해 설계된 훈련 불필요 프레임워크임. 기존의 Zero-Order Hold 방식이 가진 한계를 극복하기 위해 지각적 제약이 있는 동적 근사 전략을 채택함. 핵심인 CFC는 이전 단계의 캐시된 근사값이 아닌 가장 최근에 완전히 계산된 상태($t-2$)를 기준으로 움직임을 측정하여 오차 전파를 차단함. SWD는 특징 맵의 채널 분산을 시각적 복잡도의 대리 지표로 활용하여 객체의 경계나 텍스처가 복잡한 영역의 변화량에 높은 가중치를 부여함. OFA는 최소자승법을 통해 잔차 궤적을 정렬하는 OSI를 도입하여 단순 스칼라 비율 기반 보간보다 방향성 정보를 더 잘 보존함. 또한 잠재 공간에서의 다중 스케일 상관관계를 이용한 워핑을 통해 공간적 정렬을 수행함. ATS는 디노이징 공정의 단계별 특성을 반영하여 초기에는 엄격한 임계값을 적용하고, 후기에는 이차 함수 형태로 임계값을 완화하여 가속 효과를 극대화함.

급격한 시점 점프나 심한 가려짐과 같이 장면이 극도로 갑작스럽게 변하는 경우 캐시 적중률이 일시적으로 낮아질 수 있음.