CineMobile: 모바일 기기에서 영화적 카메라 모션을 생성하는 이미지-투-비디오 확산 모델

현실적인 모바일 이미지-투-비디오 생성은 모델 파라미터 수와 다중 스텝 디노이징으로 인해 실시간성·메모리 제약을 충족하기 어려웠다. CineMobile은 DiT 계열의 강점인 시공간적 표현을 보존하면서도 실무적 배포 한계(모델 크기·연산량·메모리)를 동시에 낮춘 점에서 중요하다. 특히 4스텝 생성기와 1GB 미만 모델 풋프린트를 결합해 모바일 SoC에서 직접 영화적 카메라 효과를 생성할 수 있는 실현 가능한 경로를 제공했다.

DiT 계열은 시공간적 토큰을 Transformer로 모델링해 고품질 비디오를 생성하지만, 각 샘플링 단계마다 전체 네트워크를 반복 실행해야 해 연산 및 메모리 비용이 기하급수적으로 증가한다. 특히 원본 Wan2.1-14B와 같은 대형 모델은 다수의 디노이징 스텝에서 수십 초 이상의 전체 처리 시간을 요구해 모바일 배포가 불가능했다. 따라서 연산량(스텝 수 곱하기 네트워크 비용)과 모델 파라미터를 동시에 줄이는 것이 핵심 문제이다.

CineMobile은 세 가지 상보적 축으로 문제를 해결했다. 첫 번째 축은 구조화된 깊이 프루닝으로, 연속된 블록 구간을 진단해 학습 가능한 서러게이트 블록으로 대체함으로써 블록 수를 줄이되 숨김 차원은 보존해 내부 표현 차원을 유지했다. 두 번째 축은 스텝 증류로, supervised flow-matching 워밍업 후 AdvDMD 기반의 적대적 분포 정합과 GRPO 보상을 결합해 학생 모델이 네 개의 디노이징 스텝으로도 교사 분포에 근접한 샘플을 생성하도록 학습했다. 세 번째 축은 하이브리드 포스트트레이닝 양자화로, FFN 가중치를 4비트로, 다른 선형층 가중치를 FP8로 유지하고 활성화는 16비트로 관리해 모델 메모리 풋프린트를 1GB 미만으로 축소했다. 학습 파이프라인에서 프루닝 단계는 CKA 기반의 구간 탐지와 잔여 블록 대체를 포함했고, 증류 단계는 고정된 real score estimator와 온라인 fake estimator, 경량 판별자 및 GRPO 보상을 교대로 업데이트하는 스케줄을 사용해 안정성을 확보했다.

정량적 성능에서 CineMobile은 VBench 평가에서 세 가지 영화적 모션 시나리오에서 교사 모델과 근접한 총점을 보였다. 구체적으로 bullet time·dolly zoom·slow motion에서 CineMobile의 총점은 각각 88.35, 89.30, 88.05였고 교사 Wan2.1은 89.27, 89.96, 88.51로 보고되었다. 효율성 측면에서 원본 Wan2.1-14B의 디노이징 시간이 97.06초인 데 비해 프루닝 이후 12.28초, 스텝 증류 후 2.45초로 감소했고 전체적으로 DiT 디노이징에서 40.11× 속도 향상과 DiT-FLOPs에서 71.89× 감소가 보고되었다. 추가로 실기기 측정에서 MediaTek Dimensity 8400 Ultimate 플랫폼에서의 단일 스텝 레이턴시는 20.02초, NVIDIA H200 GPU에서의 단일 스텝 레이턴시는 0.6초로 제시되었고 모델의 최대 메모리 사용량은 1.8 GB, 최종 모델 풋프린트는 1GB 미만으로 보고되었다. 비교 실험으로 FILM과의 20× 슬로우모션 설정에서 CineMobile은 PSNR을 30.57 dB에서 35.68 dB로, SSIM을 0.713에서 0.858로 개선해 대간격 보간에서 우수성을 보였다.

아키텍처 측면에서 CineMobile은 Wan2.1 기반의 DiT 백본을 공유하고 효과별로 LoRA 어댑터를 분리해 여러 카메라 모션을 지원하는 구조를 채택했다. 구조화 프루닝은 각 Transformer 블록에 대해 잔여 선형 프로브를 학습해 블록 출력의 근사 가능성을 평가하고, CKA 유사도와 시간적 시퀀스 기반의 캘리브레이션(5,000개 이상 샘플)을 이용해 제거 가능한 연속 구간을 탐지했다. 탐지된 구간은 같은 숨김 차원으로 초기화한 서러게이트 블록으로 대체하고 정규화된 히든 상태 정렬 손실을 통해 출력 상태를 재현하도록 증류했다. 학습 및 증류 단계에서 감독형 워밍업은 flow-matching 손실로 학생의 기본 생성 능력을 복원했고, 이후 AdvDMD 기반의 적대적 증류가 적용되어 고정된 real score estimator G_T와 온라인 fake estimator F, 경량 판별자 출력을 이용한 GRPO 보상이 병행되었다. 하이브리드 PTQ는 활성화는 16비트로 유지하며 대부분의 선형층 가중치를 FP8로, FFN의 주요 두 선형 투영은 4비트 가중치로 양자화해 모델 메모리와 실행 시간의 균형을 맞추었다. 구현·학습 세부값으로는 학생 모델 학습률 1×10^-4, LoRA rank=128, 증류 중 판별자 및 fake 모델 학습률 1×10^-5, 프루닝 후 복원 훈련 8k 스텝, 워밍업 5k 스텝, 증류에 10k 이상 샘플 사용, 전체 실험은 8× NVIDIA H200에서 수행되었다.

직접적 프루닝은 시간적 모델링을 교란해 정체성 드리프트와 세부열화로 이어질 수 있음을 논문에서 명시했고, 이에 따라 깊이 중심의 구조화 프루닝과 서러게이트 블록 기반의 간격 증류를 채택해 위험을 완화했다. 스텝 증류를 바로 적용하면 학습 불안정과 생성 붕괴가 발생할 수 있어 감독형 워밍업과 적대적 보상(GRPO)을 결합해 안정화 과정을 둔 점이 제약으로 언급되었다. 모바일 실행 측면에서는 단일 스텝 레이턴시가 플랫폼 성능에 크게 의존해 현재 측정 값(예: MediaTek에서 단일 스텝 20.02초)은 일부 실시간 애플리케이션에서 여전히 제약이 될 수 있음을 암시했다.