InfinityEdit으로 무한 비디오 편집 구현

왜 중요한가

기존 instruction-based video editing은 고정된 시간 구간의 프레임을 다시 렌더링하므로, 아직 도착하지 않은 미래 프레임에 편집을 이어가는 방법을 정의하지 못했다. InfinityEdit은 편집 지시가 들어온 첫 번째 생성 chunk에서만 adapter를 활성화하고, 이후에는 streaming generator가 편집된 history를 이어받도록 구성한다. 그 결과 편집 충실도와 장기 연속성을 함께 평가하는 무한 비디오 편집 문제를 별도의 과제로 정립했다.

핵심 기여

무한 비디오 편집 과제 정립

고정된 source clip과 동일한 시간 구간을 편집하는 대신, 이전 segment 뒤에 이어질 target segment를 편집 지시와 함께 생성하는 과제를 정의했다. 편집 결과가 source와 프레임별 대응을 갖지 않으므로 자연스러운 continuation과 비편집 요소 보존이 동시에 필요하다. 또한 생성 segment가 다음 history가 되기 때문에 편집이 반복될수록 품질이 유지되는지도 핵심 평가 대상으로 삼았다.

편집 지시 기반 학습 데이터 구축

UltraVideo에서 source video를 샘플링하고, caption의 주요 entity와 편집 유형을 결합한 뒤 Gemini 3 Flash로 구체적인 edit instruction을 생성했다. Appearance edit은 Qwen-Image-Edit-2511로 마지막 source frame을 변환하고, camera edit은 연결 frame을 그대로 유지한 뒤 Wan2.2-I2V-A14B로 target video를 생성했다. 이후 Helios-Distilled 입력 형식에 맞춰 해상도와 프레임 수를 조정하고, 20명의 labeler가 정렬성·연속성·합리성·source 품질을 각각 1부터 4까지 평가했다.

경량 Edit-Ignition Adapter 설계

14B Helios-Distilled backbone의 가중치를 고정하고 각 Transformer layer 뒤에 작은 adapter block을 삽입해 편집 기능만 학습했다. History Cross-Attention은 최근 프레임을 현재 chunk의 앞부분에 연결하고, Temporal Causal Self-Attention은 시간 방향으로 정보를 전달하며, Edit Cross-Attention은 edit instruction을 모든 denoising token에 주입한다. 각 단계의 output projection을 zero-initialize해 초기 adapter가 identity map으로 동작하도록 만들고 기존 장기 생성 prior의 변화를 residual update로 제한했다.

Ignite-then-continue 추론 전략

새 편집 지시가 도착하면 해당 지시를 받은 첫 chunk에서만 adapter와 single-stage Euler schedule을 사용해 편집을 점화한다. 그 다음 chunk부터는 frozen backbone과 pyramid scheduler가 최근 편집 history를 조건으로 영상을 계속 생성하므로 instruction 경로를 매번 적용하지 않아도 편집 결과가 이어진다. Sliding history window는 메모리를 일정하게 유지하고, 첫 편집 frame으로 anchor를 재설정해 후속 생성이 원본으로 되돌아가는 현상을 줄인다.

핵심 아이디어 이해하기

기존 in-place video editing은 입력 프레임과 출력 프레임이 같은 시간 위치에 대응하므로, 각 프레임을 변환하면서 source와의 일치를 유지할 수 있다. 그러나 infinite video editing에서는 target이 source 뒤에 새로 생성되며 직접 대응하는 입력 프레임이 없다. 따라서 모델은 이미 본 history에서 motion과 scene identity를 이어받으면서 edit instruction이 요구하는 변화만 다음 시간 구간에 적용해야 한다.

Helios와 같은 autoregressive video generator는 이전 프레임을 조건으로 다음 chunk를 생성해 장기 영상을 이어가지만, 중간 시점에 들어온 관계형 편집 지시를 내부 feature에 넣는 전용 경로가 없다. 단순히 scene prompt만 교체하면 새 지시는 약해질 수 있고, anchor frame과 cached history가 오히려 편집 전의 appearance로 생성 결과를 끌어당길 수 있다. InfinityEdit은 frozen backbone을 유지한 채 adapter를 통해 history와 instruction을 denoising 과정에 직접 연결한다.

먼저 History Cross-Attention이 현재 chunk의 앞쪽 프레임을 과거 history의 Key·Value와 결합해 경계에서 장면을 고정한다. 이어 Temporal Causal Self-Attention이 각 spatial position에서 시간 순서가 앞선 토큰만 참조하도록 해, history에서 받은 신호를 뒤쪽 프레임으로 전달한다. 마지막으로 Edit Cross-Attention이 현재 denoising token을 edit instruction과 결합해 스타일·카메라·entity 변환 같은 요구를 생성 전체에 반영한다.

편집 지시는 전체 무한 스트림에 계속 적용하는 대신, 도착한 순간의 첫 chunk에서만 adapter로 점화한다. 이후 chunk는 편집된 프레임을 history로 받아 frozen Helios가 계속 생성하고, 새 지시가 오면 다시 adapter를 켠다. 이 구조는 편집 제어를 추가하면서도 Helios의 streaming continuation prior를 유지하고, anchor reset으로 현재 편집 상태를 장기 생성에 전달한다.

방법론

학습 데이터는 preceding video, edit instruction, target video의 triplet으로 구성한다. Source는 UltraVideo에서 가져와 고정 해상도와 프레임 수로 맞추고, source caption의 주요 entity에 기본 편집 유형을 연결한 뒤 Gemini 3 Flash가 실제 장면에 맞는 상세 지시를 생성한다. Target의 첫 frame은 source 마지막 frame인 $X_{con}=V_{pcd}[-1]$ 에서 출발하며, appearance edit에는 Qwen-Image-Edit-2511로 변환한 연결 frame을 사용하고 camera edit에는 원본 연결 frame을 사용한 뒤 Wan2.2-I2V-A14B가 다음 영상을 생성한다.

Adapter는 backbone이 각 layer에서 만든 $H=[H_{hist};H_{cur}]$ 를 받아 history token은 보존하고 current-chunk token만 세 단계로 갱신한다. History Cross-Attention에서는 앞쪽 $L_a$ 개 current frame만 Query로 사용하고 history token을 Key·Value로 사용해 계산량을 제한하면서 경계 정보를 주입한다. Temporal Causal Self-Attention은 고정된 spatial position $p$ 에서 길이 $L$ 의 시간열을 처리하며, causal mask가 $t'≤t$ 인 과거와 현재 위치만 허용해 미래 프레임 정보가 앞 프레임으로 역류하지 않게 한다. Edit Cross-Attention은 current token을 Query로, edit instruction token을 Key·Value로 사용해 전체 denoising chunk에 지시를 전달한다.

학습은 깨끗한 target latent $z_0$ 와 noise $$를 섞은 $z_σ=(1-σ)z_0+σ$ 에서 목표 velocity $v=-z_0$ 를 회귀하는 Flow Matching 목적을 사용한다. 여기서 $σ$ 는 noise level이고, $v_θ$ 는 adapter가 추가된 Transformer의 예측 velocity이며, 손실은 $w(σ)$ 로 가중한 velocity 차이의 제곱 평균이다. 추론 history와 훈련 history의 차이를 줄이기 위해 확률 $p_{corrupt}$ 로 각 장기·중기·단기 history frame에 독립적인 noise를 섞어 불완전한 자기 생성 프레임도 조건으로 사용하게 한다.

Noise level은 backbone의 resolution-linked pyramid schedule 대신 여러 Gaussian component를 섞는 분포에서 샘플링한다. 첫 번째 curriculum phase에서는 각 component의 가중치를 균등하게 두고 모든 추론 noise level을 고르게 학습하며, 각 frame의 loss weight도 $ω_t=1$ 로 둔다. 두 번째 phase에서는 중간·저 noise 중심에 더 큰 sampling weight를 주고 frame index가 뒤로 갈수록 $ω_t$ 를 높여, 세부 묘사가 형성되는 후반 denoising 단계와 history anchor에서 먼 프레임을 집중적으로 보정한다.

추론에서는 새 edit instruction이 도착한 첫 chunk만 adapter와 single-stage Euler schedule로 denoise하고, 이후 chunk는 adapter를 끈 Helios-Distilled와 pyramid scheduler로 생성한다. 각 chunk가 history window에 추가되면 다음 chunk가 편집된 내용을 조건으로 삼으므로, instruction을 처음 한 번만 주입해도 edit attribute가 이어진다. 매 edit round마다 새 chunk의 첫 edited frame으로 anchor를 재설정하고 최근 window만 유지해, 편집 횟수가 늘어도 메모리 크기를 일정하게 유지하면서 source로 회귀하는 drift를 억제한다.

주요 결과

실험은 384 × 640 해상도와 16 fps 설정에서 32 NVIDIA H20 GPUs로 수행했으며, 기존 benchmark가 frame-level correspondence를 요구해 과제와 맞지 않으므로 별도의 OOD sequential-editing benchmark를 구축했다. Benchmark는 UltraVideo의 학습 비중복 source video 200개와 다섯 entity category를 사용하고, Gemini-3-Flash가 entity transformation·stylization·camera movement·motion transfer에 걸친 15개 편집 유형 중 세 개의 연속 지시를 생성한다. 각 지시마다 네 chunk를 생성해 sample당 총 12개 chunk를 평가한다.

VBench에서 InfinityEdit은 Camera Motion 0.7654, Motion Smoothness 0.9833, Temporal Flickering 0.9660, Dynamic Degree 0.7400을 기록했다. Camera Motion은 두 번째로 높은 방법보다 약 +0.22 높았고, CoTracker2 point tracking으로 카메라 방향 편집의 정확도를 계산했다. Temporal Flickering은 누적 편집이 가장 많이 진행된 세 번째 round에서 측정했으며, 0.9660이라는 결과는 반복 편집 후에도 인접 frame 간 시간적 일관성이 유지됨을 나타낸다.

Gemini-3.5-Flash 기반 VLM-as-Judge 평가에서 InfinityEdit은 Edit Faithfulness 3.828, Visual Quality 3.765, Preservation 3.815, Coherence 3.840을 기록해 네 차원 모두 가장 높았다. 평가는 각 segment의 지시 이행과 품질을 먼저 채점한 뒤 전체 세 segment에서 보존성과 cross-edit coherence를 평가하는 두 단계로 구성했다. In-Place Editing 계열은 source frame을 반복 재작성해 coherence가 낮았고, Prompt Switching 계열은 source video 없이 prompt만 바꿔 Preservation이 2.0 미만으로 낮았지만, InfinityEdit은 source grounding과 연속성을 함께 유지했다.

세 round의 Edit Faithfulness는 InfinityEdit에서 각각 3.860, 3.805, 3.820이었고 표준편차는 0.023이었다. 다른 baseline의 표준편차는 Helios-Base 0.072, Lucy-Edit 0.268, SANA-Streaming 0.039, Anchor-Forcing 0.715, Infinity-RoPE 0.694로 나타났다. Aesthetic Quality도 InfinityEdit에서는 round가 늘어도 거의 평평하게 유지됐으며, source-conditioned baseline은 첫 round 이후 0.02부터 0.04까지 하락했다.

정성 비교에서 scenery source에 camera movement와 style edit을 순차 적용했을 때, InfinityEdit은 zoom-out 지시에서 같은 mountain peak를 유지하면서 화면 내 크기를 줄였다. Human-centric source에서는 Simpsons-comic style에서 Ladudu로 character가 바뀌는 동안 background continuity가 유지됐고, 세 편집이 서로 분리된 clip이 아니라 하나의 이어지는 stream으로 나타났다. 각 edit는 첫 생성 chunk에서 시작되고 후속 chunk로 전달되어, adapter의 일회성 ignition과 backbone continuation 설계가 시각적 결과에 반영됐다.

각 편집 segment를 늘려 전체 sequence가 1000 frames를 넘는 장기 실험에서도 시각 품질 붕괴 없이 지시 이행과 edited attribute 보존이 지속됐다. 세 번째 move up 지시가 적용되는 동안 두 번째 segment에서 도입한 Ladudu appearance도 유지됐다. 이는 frozen Helios backbone의 long-video prior 위에 adapter가 edit control을 추가하는 구성이 장기 생성 안정성과 반복 편집 기억을 함께 보존했음을 뒷받침한다.

기술 상세

InfinityEdit은 14B Helios-Distilled를 frozen backbone으로 사용하고 Transformer layer마다 Edit-Ignition Adapter를 삽입한다. Backbone의 per-layer hidden state는 history token과 current-chunk token을 이어 붙인 $H=[H_{hist};H_{cur}]$ 이며, adapter는 history token을 수정하지 않고 current token에 세 가지 residual update를 적용한다. Noise level $σ$ 에서 AdaLN 기반 modulation $m_σ(·)=(1+s_σ)⊙(·)+b_σ$ 의 scale과 shift를 공유 sigma-embedding module이 예측하고, 각 stage output projection은 zero-initialize한다.

History Cross-Attention은 앞쪽 $L_a$ 개 frame의 current token만 Query로 사용한다. Query는 $H_{cur}^{1:L_a}W_Q^h$ , Key는 $H_{hist}W_K^h$ , Value는 $H_{hist}W_V^h$ 로 만들며, Attention은 $softmax(QK^T/√d)V$ 를 계산한 뒤 $W_O^h$ 로 투영한다. 따라서 입력은 denoising chunk 앞부분과 clean history이고, 출력은 history에 맞춰 보정된 앞부분 feature이며, 이 신호가 다음 temporal attention을 통해 chunk 전체로 전달된다.

Temporal Causal Self-Attention은 각 spatial position $p$ 에 대해 시간축 길이 $L$ 의 token sequence를 독립적으로 처리한다. Causal mask는 $t'≤t$ 인 위치에 0을 두고 그 외 위치에 $-∞$ 를 두므로 frame $t$ 의 Query가 미래 frame을 참조하지 못하며, 별도의 one-dimensional temporal rotary position encoding을 Q와 K에 적용한다. 입력은 현재 chunk의 시간별 spatial token이고 출력은 앞 시점의 motion cue가 뒤 시점으로만 흐르는 temporal feature이며, 이 방향성이 streaming autoregressive 순서와 일치한다.

Edit Cross-Attention은 모든 current denoising token을 Query로 사용하고 edit instruction token을 Key·Value로 사용한다. $Q=H_{cur}W_Q^e$ , $K=c_{edit}W_K^e$ , $V=c_{edit}W_V^e$ 를 계산한 후 Attention 결과를 $W_O^e$ 로 투영해 모든 current token에 residual로 더한다. 따라서 입력은 현재 영상 feature와 자연어 지시이고 출력은 instruction-conditioned feature이며, 앞선 두 attention이 보존한 history·temporal 구조 위에 편집 의미를 입힌다.

Flow Matching은 clean target latent $z_0$ 와 $∼N(0,I)$ 를 사용해 $z_σ=(1-σ)z_0+σ$ 를 만들고 목표 velocity $v=-z_0$ 를 학습한다. 모델은 $v_θ(z_σ,σ,c)$ 를 예측하며 $c$ 에는 scene prompt, edit instruction, history condition이 포함되고, 예측 velocity와 목표 velocity의 제곱 오차를 $w(σ)$ 로 가중한다. 예를 들어 $σ$ 가 0에 가까우면 latent가 clean target에 가까워져 최종 세부 묘사 보정에 해당하고, 큰 $σ$ 에서는 noise에서 layout과 큰 구조를 복원하는 방향을 학습한다.

훈련 noise는 $N$ 개 Gaussian component의 혼합에서 샘플링하며, 각 중심 $μ_k$ 는 추론에서 사용되는 이산 noise level이고 마지막 중심은 $μ_N≈0$ 이다. 첫 phase는 $π_k=1/N$ 으로 모든 noise 중심을 균등하게 다루고 $ω_t=1$ 로 모든 frame을 동일하게 감독한다. 두 번째 phase는 중간·저 noise 중심과 뒤쪽 frame의 loss weight를 키워, 편집 결과의 fine detail과 history anchor에서 멀어질수록 증가하는 품질 저하를 집중적으로 줄인다.

추론의 첫 ignition chunk는 adapter와 single-stage Euler schedule을 사용하고, 이후 continuation chunk는 adapter 없이 Helios의 pyramid scheduler를 사용한다. 새 chunk가 history window에 들어오면 backbone이 이를 조건으로 삼으므로 edit instruction을 계속 직접 주입하지 않아도 편집 상태가 전달된다. History window는 최신 구간만 남겨 token budget을 일정하게 유지하고, anchor는 첫 edited frame으로 재설정한 뒤 다음 edit instruction이 도착할 때까지 고정해 원본 appearance로의 회귀를 막는다.

한계점

현재 편집 입력은 자연어 instruction만 지원하며 image나 video reference를 조건으로 사용하지 않는다. 따라서 말로 표현하기 어려운 target appearance를 세밀하게 지정하는 기능은 향후 확장 대상으로 남아 있다. 또한 successive edit 사이의 전환이 특정 유형의 지시에서 다소 abrupt할 수 있어, 경계 구간의 smoother transition이 명시적인 후속 과제다.

실무 활용

InfinityEdit은 이미 생성 중인 video stream에 새 자연어 편집 지시를 순차적으로 적용하면서 이후 프레임을 계속 생성하는 용도에 맞는다. 편집 지시가 도착한 첫 chunk에서만 adapter를 사용하고, 이후에는 frozen streaming generator가 최근 history를 이어받으므로 반복 편집의 계산 경로를 제한한다. 논문은 live game stream의 restyling이나 진행 중인 shot의 camera move처럼 미래 프레임이 아직 존재하지 않는 상황을 적용 맥락으로 제시한다.

라이브 game stream에 새 style을 순차 적용할 수 있다. 현재 stream의 마지막 history frame에서 편집을 점화한 뒤 다음 chunk부터 변경된 appearance를 이어간다. 이후 camera나 entity 지시가 들어오면 같은 절차를 반복한다.
진행 중인 shot에 camera movement를 삽입할 수 있다. Camera edit에서는 source 마지막 frame을 연결 frame으로 그대로 유지하고, Wan2.2-I2V-A14B가 이후 시점의 viewpoint 변화를 생성한다. 이 방식은 장면 identity를 보존하면서 카메라 방향 지시를 미래 구간에 적용하는 데 맞는다.
장기 생성 영상에 여러 자연어 편집을 누적할 수 있다. Sliding history window가 최근 frame만 저장하고 edited 첫 frame으로 anchor를 재설정해 메모리 증가와 source 회귀를 줄인다. 논문 실험에서는 전체 sequence가 1000 frames를 넘는 조건에서도 편집 속성과 시각 안정성이 유지됐다.

코드 공개 여부: 공개

코드 저장소 보기

키워드

InfinityEdit무한 비디오 편집Streaming Video GeneratorEdit-Ignition AdapterHistory Cross-AttentionTemporal Causal Self-AttentionEdit Cross-AttentionAnchor FrameHelios-Distilled

용어 해설

무한 비디오 편집(Infinite Video Editing): — 고정된 입력 영상 전체를 다시 쓰는 대신, 이전에 생성된 영상 구간과 편집 지시를 입력으로 받아 시간상 다음 구간을 생성하는 작업이다. 새 편집 지시가 도착할 때마다 이 과정을 반복하므로 편집 결과의 연속성과 누적 편집 안정성이 핵심이다.
자기회귀 비디오 생성(Autoregressive Video Generation): — 영상을 한 번에 완성하지 않고 이전에 생성된 프레임 구간을 조건으로 다음 구간을 순차 생성하는 방식이다. 각 출력이 다음 입력의 history가 되므로, 초기 오류가 뒤 구간으로 전달되는 노출 편향과 장기 drift를 줄이는 설계가 중요하다.
Cross-Attention: — Query 토큰이 별도의 Key·Value 토큰과 유사도를 계산해 외부 조건 정보를 현재 표현에 주입하는 Attention 구조다. 이 논문에서는 history 프레임과 편집 문장을 각각 연결해 생성 구간을 과거 내용에 고정하고 편집 지시를 반영하는 데 사용한다.
Flow Matching: — 깨끗한 데이터와 Gaussian noise 사이의 보간 상태에서 목표 이동 방향인 velocity를 학습하는 생성 모델 훈련 목적이다. InfinityEdit은 이 목적을 사용해 noise level별 denoising 방향을 학습하며, backbone 가중치는 고정하고 adapter만 갱신한다.
노출 편향(Exposure Bias): — 훈련 중에는 깨끗한 정답 history를 보지만 추론 중에는 모델이 만든 불완전한 프레임을 history로 사용하는 조건 불일치다. 이 차이가 반복 생성에서 오류 누적으로 이어질 수 있어, 논문은 훈련 history에 확률적으로 noise를 섞어 adapter가 손상된 입력에도 대응하게 한다.

InfinityEdit으로 무한 비디오 편집 구현

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

CoinVE-Edit의 조합형 다중 지시 영상 편집

SolarWM: 장기 비디오 월드 모델을 위한 공개 데이터와 확장형 학습

Gemini 3.7 Flash 영상 편집 결정 비교

생성형 비디오의 새로운 축: 실시간 추론과 효율적인 서빙 전략

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

CoinVE-Edit의 조합형 다중 지시 영상 편집

SolarWM: 장기 비디오 월드 모델을 위한 공개 데이터와 확장형 학습

Gemini 3.7 Flash 영상 편집 결정 비교

생성형 비디오의 새로운 축: 실시간 추론과 효율적인 서빙 전략