SenCache: 민감도 인지형 캐싱을 통한 디퓨전 모델 추론 가속화

비디오 디퓨전 모델은 수많은 연산 단계로 인해 생성 속도가 매우 느리다는 고질적인 문제가 있다. SenCache는 모델의 출력 변화를 수학적으로 예측하여 불필요한 연산을 건너뛰는 방식으로, 추가 학습 없이도 고화질 비디오를 훨씬 빠르게 생성할 수 있게 해준다.

디퓨전 모델은 노이즈에서 이미지를 복원하기 위해 수십 번의 Denoising 단계를 거치는데, 각 단계마다 거대한 신경망을 실행해야 하므로 비용이 크다. 기존에는 단순히 이전 단계의 결과를 재사용(Caching)하려 했으나, 언제 재사용해도 안전한지에 대한 명확한 기준이 없어 화질이 깨지는 문제가 있었다.

SenCache는 '민감도(Sensitivity)'라는 개념을 도입한다. 이는 입력값(노이즈 섞인 데이터와 현재 시점)이 조금 변했을 때 모델의 출력이 얼마나 크게 변하는지를 나타내는 지표다. Jacobian Norm을 통해 이 민감도를 계산하면, 출력이 거의 변하지 않을 '안전한 구간'을 수학적으로 찾아낼 수 있다.

결과적으로 모델은 변화가 큰 중요한 단계에서는 연산을 수행하고, 변화가 미미한 단계에서는 이전 결과를 재사용한다. 이를 통해 Wan 2.1 모델 기준 추론 시간을 약 41% 단축하면서도 기존 캐싱 기법들보다 훨씬 선명한 비디오 화질을 유지한다.

SenCache는 모델 출력 f_θ(x_t, t, c)의 변화량을 1차 테일러 전개(First-order Taylor expansion)로 근사한다. [현재 노이즈 데이터의 변화량(Δx_t)과 시간의 변화량(Δt)을 입력으로] → [각각의 Jacobian Norm인 ||J_x|| 및 ||J_t||와 곱하여 합산하는 연산을 수행해] → [예상되는 출력 변화량 S_t를 얻고] → [이 값이 설정된 허용 오차 ε보다 작으면 캐시된 출력을 재사용한다].

정확한 Jacobian 계산은 비용이 많이 들기 때문에, 방향성 유한 차분법(Directional finite-difference)을 사용하여 민감도를 추정한다. [작은 섭동 Δx와 Δt를 입력으로] → [모델 출력의 차이를 섭동의 크기로 나누는 연산을 수행해] → [근사화된 민감도 값을 얻고] → [이를 미리 계산하여 캐싱 과정에서 효율적으로 활용한다].

캐시의 유효성을 보장하기 위해 최대 연속 캐싱 횟수 n을 설정한다. [연속된 캐싱 횟수를 입력으로] → [설정된 n과 비교하는 연산을 수행해] → [횟수가 n에 도달하면 강제로 모델을 실행하여 캐시를 갱신하고] → [1차 근사 오차가 누적되어 궤적이 이탈하는 현상을 방지한다].

Wan 2.1 모델 실험에서 SenCache는 기존 기법인 TeaCache 및 MagCache 대비 우수한 시각적 품질을 입증했다. 동일한 연산량(NFE 21) 조건에서 SenCache는 PSNR 29.14, SSIM 0.9219를 기록하여 MagCache(PSNR 28.36, SSIM 0.9143)보다 높은 화질을 유지했다.

CogVideoX와 LTX-Video 모델에서도 일관된 성능 향상이 확인됐다. 특히 CogVideoX에서는 LPIPS 0.1901을 기록하며 TeaCache(0.5855) 대비 압도적인 화질 보존 능력을 보였다. 이는 SenCache가 다양한 DiT 아키텍처에서 범용적으로 작동함을 시사한다.

효율성 측면에서 Wan 2.1 기준 GH200 GPU에서 추론 시간을 182.3초에서 107.3초로 약 41.1% 단축했다. 또한 전체 연산량(GFLOPs)을 57.8% 절감하면서도 시각적 아티팩트 발생을 최소화했다.

SenCache는 디퓨전 모델의 추론 과정에서 인접한 타임스텝 간의 출력 유사성을 활용하는 Full-forward 캐싱 방식을 채택한다. 기존의 휴리스틱 기반 방법들과 달리, 모델의 국소적 평활성(Local smoothness)을 수학적으로 정량화하여 캐싱 여부를 결정하는 이론적 프레임워크를 제공한다.

핵심 지표인 민감도 점수 S_t는 노이즈 섞인 잠재 변수(x_t)와 타임스텝(t)에 대한 모델 출력의 변화율을 결합하여 계산된다. 이는 모델이 특정 입력 변화에 얼마나 민감하게 반응하는지를 나타내는 Lipschitz 상수의 역할을 수행하며, 이를 통해 캐싱으로 인한 오차를 사전에 예측할 수 있다.

구현 측면에서는 8개의 비디오 샘플만으로 구성된 작은 보정 데이터셋(Calibration set)을 사용하여 모델별 민감도 프로필을 미리 계산한다. 실험 결과, 보정 데이터셋의 크기가 커져도 민감도 통계는 안정적으로 유지되므로 대규모 데이터 없이도 효율적인 프로파일링이 가능하다.

기존 TeaCache가 시간 임베딩의 차이만을 고려하고 MagCache가 잔차의 크기만을 고려하는 것과 달리, SenCache는 두 요소를 모두 통합하여 모델의 동역학을 더 정확하게 포착한다. 이는 특히 잠재 변수의 변화가 큰 구간에서 발생하는 화질 저하 문제를 효과적으로 해결한다.

현재 구현은 1차 민감도 대리 지표에 의존하므로, 비선형성이 매우 강한 영역에서는 오차가 발생할 수 있다. 또한 고정된 허용 오차 ε을 사용하므로, 타임스텝별로 중요도가 다른 점을 고려하여 동적으로 ε을 조절하는 스케줄링 기법이 향후 과제로 남아 있다.