SenCache: 민감도 인지형 캐싱을 통한 디퓨전 모델 추론 가속화

왜 중요한가

비디오 디퓨전 모델은 수많은 연산 단계로 인해 생성 속도가 매우 느리다는 고질적인 문제가 있다. SenCache는 모델의 출력 변화를 수학적으로 예측하여 불필요한 연산을 건너뛰는 방식으로, 추가 학습 없이도 고화질 비디오를 훨씬 빠르게 생성할 수 있게 해준다.

핵심 기여

민감도 기반 캐싱 프레임워크

모델 출력의 국소적 민감도를 활용해 캐싱 여부를 결정하는 이론적 근거를 제시함.

샘플별 적응형 정책

고정된 스케줄 대신 각 샘플의 난이도에 따라 동적으로 캐싱 단계를 조절함.

학습 불필요(Training-free) 가속화

모델 구조 변경이나 추가 학습 없이 기존 DiT 기반 비디오 모델에 즉시 적용 가능함.

핵심 아이디어 이해하기

디퓨전 모델은 노이즈에서 이미지를 복원하기 위해 수십 번의 Denoising 단계를 거치는데, 각 단계마다 거대한 신경망을 실행해야 하므로 비용이 크다. 기존에는 단순히 이전 단계의 결과를 재사용(Caching)하려 했으나, 언제 재사용해도 안전한지에 대한 명확한 기준이 없어 화질이 깨지는 문제가 있었다.

SenCache는 '민감도(Sensitivity)'라는 개념을 도입한다. 이는 입력값(노이즈 섞인 데이터와 현재 시점)이 조금 변했을 때 모델의 출력이 얼마나 크게 변하는지를 나타내는 지표다. Jacobian Norm을 통해 이 민감도를 계산하면, 출력이 거의 변하지 않을 '안전한 구간'을 수학적으로 찾아낼 수 있다.

결과적으로 모델은 변화가 큰 중요한 단계에서는 연산을 수행하고, 변화가 미미한 단계에서는 이전 결과를 재사용한다. 이를 통해 Wan 2.1 모델 기준 추론 시간을 약 41% 단축하면서도 기존 캐싱 기법들보다 훨씬 선명한 비디오 화질을 유지한다.

방법론

SenCache는 모델 출력 f_θ(x_t, t, c)의 변화량을 1차 테일러 전개(First-order Taylor expansion)로 근사한다. [현재 노이즈 데이터의 변화량(Δx_t)과 시간의 변화량(Δt)을 입력으로] → [각각의 Jacobian Norm인 ||J_x|| 및 ||J_t||와 곱하여 합산하는 연산을 수행해] → [예상되는 출력 변화량 S_t를 얻고] → [이 값이 설정된 허용 오차 ε보다 작으면 캐시된 출력을 재사용한다].

정확한 Jacobian 계산은 비용이 많이 들기 때문에, 방향성 유한 차분법(Directional finite-difference)을 사용하여 민감도를 추정한다. [작은 섭동 Δx와 Δt를 입력으로] → [모델 출력의 차이를 섭동의 크기로 나누는 연산을 수행해] → [근사화된 민감도 값을 얻고] → [이를 미리 계산하여 캐싱 과정에서 효율적으로 활용한다].

캐시의 유효성을 보장하기 위해 최대 연속 캐싱 횟수 n을 설정한다. [연속된 캐싱 횟수를 입력으로] → [설정된 n과 비교하는 연산을 수행해] → [횟수가 n에 도달하면 강제로 모델을 실행하여 캐시를 갱신하고] → [1차 근사 오차가 누적되어 궤적이 이탈하는 현상을 방지한다].

주요 결과

Wan 2.1 모델 실험에서 SenCache는 기존 기법인 TeaCache 및 MagCache 대비 우수한 시각적 품질을 입증했다. 동일한 연산량(NFE 21) 조건에서 SenCache는 PSNR 29.14, SSIM 0.9219를 기록하여 MagCache(PSNR 28.36, SSIM 0.9143)보다 높은 화질을 유지했다.

CogVideoX와 LTX-Video 모델에서도 일관된 성능 향상이 확인됐다. 특히 CogVideoX에서는 LPIPS 0.1901을 기록하며 TeaCache(0.5855) 대비 압도적인 화질 보존 능력을 보였다. 이는 SenCache가 다양한 DiT 아키텍처에서 범용적으로 작동함을 시사한다.

효율성 측면에서 Wan 2.1 기준 GH200 GPU에서 추론 시간을 182.3초에서 107.3초로 약 41.1% 단축했다. 또한 전체 연산량(GFLOPs)을 57.8% 절감하면서도 시각적 아티팩트 발생을 최소화했다.

기술 상세

SenCache는 디퓨전 모델의 추론 과정에서 인접한 타임스텝 간의 출력 유사성을 활용하는 Full-forward 캐싱 방식을 채택한다. 기존의 휴리스틱 기반 방법들과 달리, 모델의 국소적 평활성(Local smoothness)을 수학적으로 정량화하여 캐싱 여부를 결정하는 이론적 프레임워크를 제공한다.

핵심 지표인 민감도 점수 S_t는 노이즈 섞인 잠재 변수(x_t)와 타임스텝(t)에 대한 모델 출력의 변화율을 결합하여 계산된다. 이는 모델이 특정 입력 변화에 얼마나 민감하게 반응하는지를 나타내는 Lipschitz 상수의 역할을 수행하며, 이를 통해 캐싱으로 인한 오차를 사전에 예측할 수 있다.

구현 측면에서는 8개의 비디오 샘플만으로 구성된 작은 보정 데이터셋(Calibration set)을 사용하여 모델별 민감도 프로필을 미리 계산한다. 실험 결과, 보정 데이터셋의 크기가 커져도 민감도 통계는 안정적으로 유지되므로 대규모 데이터 없이도 효율적인 프로파일링이 가능하다.

기존 TeaCache가 시간 임베딩의 차이만을 고려하고 MagCache가 잔차의 크기만을 고려하는 것과 달리, SenCache는 두 요소를 모두 통합하여 모델의 동역학을 더 정확하게 포착한다. 이는 특히 잠재 변수의 변화가 큰 구간에서 발생하는 화질 저하 문제를 효과적으로 해결한다.

한계점

현재 구현은 1차 민감도 대리 지표에 의존하므로, 비선형성이 매우 강한 영역에서는 오차가 발생할 수 있다. 또한 고정된 허용 오차 ε을 사용하므로, 타임스텝별로 중요도가 다른 점을 고려하여 동적으로 ε을 조절하는 스케줄링 기법이 향후 과제로 남아 있다.

실무 활용

추가 학습 없이 기존 비디오 생성 파이프라인에 즉시 통합하여 추론 속도를 높일 수 있는 실용적인 솔루션이다. 특히 고해상도 비디오 생성 시 발생하는 막대한 컴퓨팅 비용을 효과적으로 줄여준다.

실시간 비디오 생성 서비스의 서버 비용 절감 및 응답 속도 개선
제한된 GPU 자원을 가진 로컬 환경에서의 고화질 비디오 생성 가속화
다양한 DiT 기반 오픈소스 비디오 모델(Wan, CogVideoX 등)의 추론 최적화 플러그인 개발

코드 공개 여부: 공개

코드 저장소 보기

키워드

Diffusion Model(디퓨전 모델)Inference Acceleration(추론 가속화)Caching(캐싱)Sensitivity Analysis(민감도 분석)Video Generation(비디오 생성)DiT(디퓨전 트랜스포머)

용어 해설

디퓨전 모델(Diffusion Model): — 데이터에 노이즈를 점진적으로 추가한 뒤 이를 다시 제거하는 과정을 학습하여 새로운 데이터를 생성하는 확률 모델이다. 고품질 이미지와 비디오 생성에 널리 사용되지만, 수십 번의 반복적인 연산이 필요해 추론 속도가 느리다는 단점이 있다.
디노이징 단계(Denoising Step): — 노이즈가 섞인 입력값에서 원래의 신호를 복원하기 위해 신경망을 한 번 실행하는 단위 공정이다. 비디오 생성 시 수백 번의 단계가 반복되며, 각 단계마다 거대한 모델을 실행해야 하므로 전체 생성 시간의 대부분을 차지한다.
자코비안 노름(Jacobian Norm): — 입력의 미세한 변화에 따른 출력의 변화율을 나타내는 행렬의 크기를 측정하는 지표이다. 딥러닝에서는 모델이 특정 입력 변화에 얼마나 민감하게 반응하는지를 수치화하며, 값이 작을수록 입력이 변해도 출력이 안정적임을 의미한다.
함수 평가 횟수(NFE (Number of Function Evaluations)): — 추론 과정에서 신경망 모델을 실제로 실행한 총 횟수를 의미한다. 디퓨전 모델의 가속화 연구에서 가장 핵심적인 효율성 지표로, NFE가 낮을수록 연산 비용이 적고 생성 속도가 빠르다는 것을 뜻한다.
디퓨전 트랜스포머(DiT (Diffusion Transformer)): — 기존의 U-Net 구조 대신 Transformer 아키텍처를 디퓨전 모델의 백본으로 사용하는 구조이다. 확장성이 뛰어나 최신 고해상도 비디오 생성 모델(Wan 2.1, Sora 등)의 표준 아키텍처로 자리 잡았다.

SenCache: 민감도 인지형 캐싱을 통한 디퓨전 모델 추론 가속화

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드