SwiftI2V: 조건부 세그먼트 단위 생성을 통한 효율적인 고해상도 이미지-비디오 생성

고해상도 이미지-비디오(I2V) 생성은 막대한 연산 비용과 입력 이미지의 세부 사항 유지라는 두 가지 난제를 안고 있다. SwiftI2V는 움직임과 세부 묘사를 분리한 2단계 접근법과 세그먼트 단위 생성 기법을 통해 기존 SOTA 모델 대비 GPU 시간을 202배 단축하면서도 2K 해상도의 고품질 비디오를 생성한다. 이는 고성능 데이터센터 GPU뿐만 아니라 일반 소비자용 GPU에서도 전문적인 영상 제작이 가능함을 시사한다.

기존의 Diffusion Transformer(DiT) 기반 비디오 생성은 해상도가 높아질수록 Self-Attention 연산량이 시퀀스 길이의 제곱에 비례하여 증가하는 문제를 겪는다. 특히 2K 해상도에서는 모든 토큰을 한꺼번에 처리하는 것이 메모리 한계로 인해 불가능에 가깝다. SwiftI2V는 '전역적인 움직임은 저해상도에서도 충분히 파악 가능하며, 고해상도 단계는 입력 이미지의 세부 사항을 복원하는 데 집중해야 한다'는 직관에서 출발한다.

이를 해결하기 위해 전체 비디오를 한 번에 생성하는 대신 Conditional Segment-wise Generation(CSG)을 도입한다. 이는 비디오를 짧은 시간 단위인 세그먼트로 쪼개어 처리함으로써 한 번에 계산해야 할 토큰 수를 일정하게 묶어두는 방식이다. 이때 단순히 순차적으로 생성하면 앞뒤 세그먼트가 끊겨 보일 수 있는데, 이를 방지하기 위해 Bidirectional Contextual Interaction을 사용한다.

이 메커니즘은 현재 생성 중인 세그먼트가 이전 세그먼트의 정보를 참조할 뿐만 아니라, 이전 세그먼트의 마지막 부분도 현재 세그먼트의 맥락에 맞춰 동적으로 반응하게 만든다. 결과적으로 전체 비디오의 일관성을 유지하면서도 메모리 사용량을 획기적으로 줄여 소비자용 GPU에서도 2K 영상 생성이 가능해진다.

SwiftI2V는 두 단계의 파이프라인으로 구성된다. 1단계(Stage I)에서는 입력 이미지를 360P로 다운샘플링한 후 대용량 DiT를 사용하여 저해상도 움직임 참조(Motion Reference)를 생성한다. [입력 이미지 x → Down(x) → DiT G1 → 저해상도 비디오 V_LR] 과정을 거쳐 전역적인 움직임 구조를 먼저 정의한다.

2단계(Stage II)는 고해상도 세부 묘사 단계로, 1단계 결과물을 2K로 업샘플링한 뒤 입력 이미지와 채널 단위로 결합(Concatenate)하여 조건부 입력을 만든다. [업샘플링된 비디오 V_up + 원본 이미지 x → 3D VAE Encoder → 잠재 변수 z_ref] 순으로 연산하여 고해상도 합성을 위한 가이드를 제공한다.

핵심 기법인 CSG는 시간축을 S개의 세그먼트로 분할하여 처리한다. 각 세그먼트 s는 M개의 노이즈 블록과 N개의 인접 컨텍스트 블록으로 구성된다. [세그먼트 윈도우 Ws 내의 토큰들 → 양방향 Attention → 업데이트된 잠재 변수] 과정을 통해 세그먼트 단위로 노이즈를 제거하며, 생성된 결과는 다음 세그먼트의 컨텍스트로 활용되어 스트리밍 방식의 출력을 지원한다.

VBench-I2V 2K 해상도 벤치마크에서 SwiftI2V는 총점 6.4244를 기록하여 기존 SOTA 모델인 CineScale(6.3638)과 LTX-2(6.3579)를 상회하는 성능을 보였다. 특히 배경 일관성(I2V Background) 점수에서 0.9975로 가장 높은 수치를 기록하며 입력 이미지의 구조를 완벽하게 보존함을 입증했다.

효율성 측면에서 SwiftI2V는 81프레임의 2K 비디오를 생성하는 데 단일 H800 GPU 기준 111초가 소요되었다. 이는 4개의 GPU를 사용해 5600초가 걸리는 CineScale 대비 GPU 시간 기준 약 202배 빠른 속도이다. 또한 소비자용 GPU인 RTX 4090(24GB VRAM)에서도 약 380초 만에 2K 비디오 생성을 완료하며 실용성을 증명했다.

SwiftI2V의 아키텍처는 움직임 모델링을 위한 대형 DiT(Stage I)와 세부 묘사 합성을 위한 소형 DiT(Stage II)의 비대칭 구조를 취한다. Stage II는 움직임을 새로 학습할 필요가 없으므로 파라미터 수를 줄여 연산 효율을 높였다. 고해상도 처리를 위해 (16, 16, 4)의 높은 압축률을 가진 3D VAE를 채택하여 토큰 수를 최적화했다.

CSG의 Bidirectional Contextual Interaction은 표준적인 Auto-regressive 방식의 단방향 마스킹 대신, 세그먼트 윈도우 내에서 모든 토큰이 서로를 참조할 수 있게 한다. 이는 이전 세그먼트의 정보를 고정된 상수로 취급하지 않고 현재 생성 맥락에 맞게 재해석하게 함으로써 경계 아티팩트(Boundary Artifacts)를 억제한다. 학습 시에는 Teacher-forcing 기법을 사용하여 실제 비디오의 컨텍스트를 주입함으로써 모델이 짧은 범위의 문맥과 전역 참조를 동시에 활용하도록 유도한다.

SwiftI2V는 2K 비디오 생성의 효율성을 크게 개선했으나 여전히 엄격한 의미의 실시간(Real-time) 합성에는 도달하지 못했다. 또한 두 개의 전문화된 단계를 별도로 운영해야 하므로 단일 모델 대비 시스템 통합 및 메모리 공유 최적화 과정이 복잡할 수 있다.