CineMobile: 모바일 기기에서 영화적 카메라 모션을 생성하는 이미지-투-비디오 확산 모델

왜 중요한가

현실적인 모바일 이미지-투-비디오 생성은 모델 파라미터 수와 다중 스텝 디노이징으로 인해 실시간성·메모리 제약을 충족하기 어려웠다. CineMobile은 DiT 계열의 강점인 시공간적 표현을 보존하면서도 실무적 배포 한계(모델 크기·연산량·메모리)를 동시에 낮춘 점에서 중요하다. 특히 4스텝 생성기와 1GB 미만 모델 풋프린트를 결합해 모바일 SoC에서 직접 영화적 카메라 효과를 생성할 수 있는 실현 가능한 경로를 제공했다.

핵심 기여

디스틸레이션 가이드 프루닝으로 DiT 백본을 압축해 시간적 일관성 보존

원본 DiT에서 연속 블록 구간의 중복성을 탐지하고 대체 블록으로 치환하는 방식으로 깊이 중심의 구조화 프루닝을 수행했다. 잔여 블록 대신 학습 가능한 서러게이트 블록을 초기화하고 고정된 숨김 차원(hid dim)을 유지해 시공간 표현과 인물 정체성 보존을 우선했다. 프루닝 단계는 5,000개 이상의 캘리브레이션 샘플과 CKA 기반 유사도 순위를 활용해 안정적인 간격 탐지를 보장했다.

AdvDMD 기반의 적대적 보상 결합 4스텝 스텝 증류로 샘플링 단계 대폭 감소

프루닝된 학생 모델은 supervised warm-up으로 flow-matching 손실을 이용해 기본 생성 능력을 복원한 뒤 AdvDMD를 확장해 4스텝 생성기로 증류되었다. 증류 과정에서 교사 기반의 고정된 real score estimator와 온라인 fake estimator를 병행해 분포 정합성을 측정하고, 경량 판별자의 출력이 GRPO 보상으로 사용되어 지각적 품질을 추가로 향상시켰다. 이 절차는 직접적인 스텝 감소 시 발생하는 학습 불안정과 붕괴를 완화하도록 설계되었다.

계층별 하이브리드 포스트트레이닝 양자화로 기기 메모리 1GB 미만 확보

모델의 수치 정밀도를 컴포넌트별로 달리 부여하는 하이브리드 PTQ를 적용해 런타임 메모리 점유를 크게 낮췄다. 구체적으로 FFN의 두 선형 프로젝션 가중치는 4비트로 축소하고 활성화는 16비트로 유지했으며, 어텐션·임베딩 관련 선형층 가중치는 FP8로 유지해 수치 안정성과 품질을 보존했다. 결과적으로 모델 풋프린트가 1GB 미만으로 감소해 모바일 배포 가능성이 확보되었다.

실기기 및 벤치마크에서의 효율성·품질 검증

Wan2.1-14B 교사 모델과 비교해 CineMobile은 DiT 디노이징 시간에서 40.11×, DiT-FLOPs에서 71.89× 절감 효과를 기록했다. VBench 표준 평가에서 bullet time·dolly zoom·slow motion 각각 총점 88.35, 89.30, 88.05를 달성해 교사 모델과 매우 근접한 화질을 유지했다. 또한 FILM과의 20× slow-motion 비교에서 PSNR이 30.57 dB에서 35.68 dB으로, SSIM이 0.713에서 0.858로 향상되어 큰 시간 간격 보간에서 직접 합성 방식의 우위를 입증했다.

핵심 아이디어 이해하기

DiT 계열은 시공간적 토큰을 Transformer로 모델링해 고품질 비디오를 생성하지만, 각 샘플링 단계마다 전체 네트워크를 반복 실행해야 해 연산 및 메모리 비용이 기하급수적으로 증가한다. 특히 원본 Wan2.1-14B와 같은 대형 모델은 다수의 디노이징 스텝에서 수십 초 이상의 전체 처리 시간을 요구해 모바일 배포가 불가능했다. 따라서 연산량(스텝 수 곱하기 네트워크 비용)과 모델 파라미터를 동시에 줄이는 것이 핵심 문제이다.

방법론

CineMobile은 세 가지 상보적 축으로 문제를 해결했다. 첫 번째 축은 구조화된 깊이 프루닝으로, 연속된 블록 구간을 진단해 학습 가능한 서러게이트 블록으로 대체함으로써 블록 수를 줄이되 숨김 차원은 보존해 내부 표현 차원을 유지했다. 두 번째 축은 스텝 증류로, supervised flow-matching 워밍업 후 AdvDMD 기반의 적대적 분포 정합과 GRPO 보상을 결합해 학생 모델이 네 개의 디노이징 스텝으로도 교사 분포에 근접한 샘플을 생성하도록 학습했다. 세 번째 축은 하이브리드 포스트트레이닝 양자화로, FFN 가중치를 4비트로, 다른 선형층 가중치를 FP8로 유지하고 활성화는 16비트로 관리해 모델 메모리 풋프린트를 1GB 미만으로 축소했다. 학습 파이프라인에서 프루닝 단계는 CKA 기반의 구간 탐지와 잔여 블록 대체를 포함했고, 증류 단계는 고정된 real score estimator와 온라인 fake estimator, 경량 판별자 및 GRPO 보상을 교대로 업데이트하는 스케줄을 사용해 안정성을 확보했다.

주요 결과

정량적 성능에서 CineMobile은 VBench 평가에서 세 가지 영화적 모션 시나리오에서 교사 모델과 근접한 총점을 보였다. 구체적으로 bullet time·dolly zoom·slow motion에서 CineMobile의 총점은 각각 88.35, 89.30, 88.05였고 교사 Wan2.1은 89.27, 89.96, 88.51로 보고되었다. 효율성 측면에서 원본 Wan2.1-14B의 디노이징 시간이 97.06초인 데 비해 프루닝 이후 12.28초, 스텝 증류 후 2.45초로 감소했고 전체적으로 DiT 디노이징에서 40.11× 속도 향상과 DiT-FLOPs에서 71.89× 감소가 보고되었다. 추가로 실기기 측정에서 MediaTek Dimensity 8400 Ultimate 플랫폼에서의 단일 스텝 레이턴시는 20.02초, NVIDIA H200 GPU에서의 단일 스텝 레이턴시는 0.6초로 제시되었고 모델의 최대 메모리 사용량은 1.8 GB, 최종 모델 풋프린트는 1GB 미만으로 보고되었다. 비교 실험으로 FILM과의 20× 슬로우모션 설정에서 CineMobile은 PSNR을 30.57 dB에서 35.68 dB로, SSIM을 0.713에서 0.858로 개선해 대간격 보간에서 우수성을 보였다.

기술 상세

아키텍처 측면에서 CineMobile은 Wan2.1 기반의 DiT 백본을 공유하고 효과별로 LoRA 어댑터를 분리해 여러 카메라 모션을 지원하는 구조를 채택했다. 구조화 프루닝은 각 Transformer 블록에 대해 잔여 선형 프로브를 학습해 블록 출력의 근사 가능성을 평가하고, CKA 유사도와 시간적 시퀀스 기반의 캘리브레이션(5,000개 이상 샘플)을 이용해 제거 가능한 연속 구간을 탐지했다. 탐지된 구간은 같은 숨김 차원으로 초기화한 서러게이트 블록으로 대체하고 정규화된 히든 상태 정렬 손실을 통해 출력 상태를 재현하도록 증류했다. 학습 및 증류 단계에서 감독형 워밍업은 flow-matching 손실로 학생의 기본 생성 능력을 복원했고, 이후 AdvDMD 기반의 적대적 증류가 적용되어 고정된 real score estimator G_T와 온라인 fake estimator F, 경량 판별자 출력을 이용한 GRPO 보상이 병행되었다. 하이브리드 PTQ는 활성화는 16비트로 유지하며 대부분의 선형층 가중치를 FP8로, FFN의 주요 두 선형 투영은 4비트 가중치로 양자화해 모델 메모리와 실행 시간의 균형을 맞추었다. 구현·학습 세부값으로는 학생 모델 학습률 1×10^-4, LoRA rank=128, 증류 중 판별자 및 fake 모델 학습률 1×10^-5, 프루닝 후 복원 훈련 8k 스텝, 워밍업 5k 스텝, 증류에 10k 이상 샘플 사용, 전체 실험은 8× NVIDIA H200에서 수행되었다.

한계점

직접적 프루닝은 시간적 모델링을 교란해 정체성 드리프트와 세부열화로 이어질 수 있음을 논문에서 명시했고, 이에 따라 깊이 중심의 구조화 프루닝과 서러게이트 블록 기반의 간격 증류를 채택해 위험을 완화했다. 스텝 증류를 바로 적용하면 학습 불안정과 생성 붕괴가 발생할 수 있어 감독형 워밍업과 적대적 보상(GRPO)을 결합해 안정화 과정을 둔 점이 제약으로 언급되었다. 모바일 실행 측면에서는 단일 스텝 레이턴시가 플랫폼 성능에 크게 의존해 현재 측정 값(예: MediaTek에서 단일 스텝 20.02초)은 일부 실시간 애플리케이션에서 여전히 제약이 될 수 있음을 암시했다.

실무 활용

CineMobile은 1.2B급 학생 모델과 4스텝 샘플링을 통해 모바일 SoC에서 직접 영화적 카메라 효과를 생성할 수 있는 실무적 경로를 제시한다. 하이브리드 PTQ로 모델 풋프린트를 1GB 미만으로 줄여 모바일 메모리 제약을 충족했고, 프루닝과 스텝 증류의 결합으로 연산량을 대폭 낮췄다. 다만 단일 스텝 레이턴시는 기기 성능에 크게 의존해 대화형 실시간 처리를 위해서는 추가 최적화가 필요하다.

모바일 사진 앱에서 사용자 촬영 단일 프레임을 입력으로 삼아 짧은 영화적 카메라 모션(버렛타임·돌리 줌·슬로우모션) 샘플을 생성하는 기능 구현.
소셜 미디어용 자동 하이라이트 생성 파이프라인에서 디바이스 상 변환과 미리보기 프리렌더링을 로컬에서 수행해 서버 비용을 절감하는 워크플로.
모바일 비디오 편집 애플리케이션에서 특정 구간에 영화적 카메라 효과를 적용하는 필터로 활용해 사용자 경험을 강화하는 기능.

코드 공개 여부: 미확인

키워드

Diffusion Transformer(확산 트랜스포머)step distillation(스텝 증류)distillation-guided pruning(증류 기반 프루닝)hybrid quantization(하이브리드 양자화)LoRA(LoRA)image-to-video(이미지-투-비디오)

용어 해설

확산 트랜스포머(Diffusion Transformer): — Diffusion Transformer는 확산 기반 생성과 Transformer 백본을 결합한 영상 생성 아키텍처로, 시공간적 토큰을 처리해 고해상도 비디오를 생성한다. 입력 노이즈를 점진적으로 제거하는 다중 단계의 디노이징 과정을 거치며, 각 단계에서 Transformer가 스페이셜·템포럴 특성을 모델링한다. 본 논문에서는 DiT의 높은 정확도와 동시에 모바일 배포를 위한 연산·메모리 절감 기법 적용이 핵심 배경 지식이다.
스텝 증류(Step Distillation): — 스텝 증류는 다단계 디퓨전 샘플링을 소수의 스텝으로 압축하기 위한 학습 절차로서, 교사 모델의 여러 샘플링 궤적을 학생 모델의 적은 스텝으로 모방하도록 학습시킨다. 본 논문은 AdvDMD 기반의 적대적 보상과 GRPO를 결합해 20스텝 급 모델을 4스텝 생성기로 압축했다. 스텝 수 감소가 곧 실시간성·연산량 개선으로 직결되기 때문에 모바일 배포에서 핵심 역할을 한다.
플러거블 프루닝(PPCL)(Pluggable Pruning (PPCL)): — PPCL은 연속된 Transformer 블록 구간을 진단해 중복 구간을 대체하는 구조화된 프루닝 기법으로, 대체 블록을 학습해 원본 표현을 복원한다. 본 논문은 PPCL을 영상 DiT에 적응시켜 깊이 방향(블록 수) 중심의 프루닝을 수행하고, 숨김 차원은 유지해 시공간 표현을 보존했다. 이렇게 하면 연산량을 줄이면서도 시간적 일관성과 인물 정체성 보존을 우선할 수 있다.
플로우 매칭(Flow Matching): — Flow Matching은 디퓨전 계열에서 연속적 노이즈 변환 경로를 목적 함수로 삼아 모델이 연속 확률 흐름을 정확히 복원하도록 학습시키는 기법이다. 본 논문에서는 감독형 파인튜닝 워밍업 단계에서 학생이 기본 생성 능력을 회복하도록 flow-matching 손실을 사용해 안정적인 초기화를 확보했다. 실무적으로는 다중 스텝 생성에서 시간적 연속성과 조건 정합성을 유지하는 데 유리하다.
하이브리드 양자화(Hybrid Quantization): — 하이브리드 양자화는 모델의 서로 다른 구성요소에 계층별로 다른 비트 정밀도를 적용하는 포스트 트레이닝 양자화 전략이다. 본 논문은 FFN 가중치를 4비트로, 대부분의 선형층 가중치는 FP8로 유지하고 활성화는 16비트로 관리해 메모리 점유를 1GB 미만으로 감축했다. 이 방식은 정밀도와 배포 효율 사이의 균형을 맞추는 현실적 절충안이다.

CineMobile: 모바일 기기에서 영화적 카메라 모션을 생성하는 이미지-투-비디오 확산 모델

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드