Aurora: 도구를 사용하는 에이전트와 함께하는 통합 비디오 편집

다수의 비디오 편집 모델은 텍스트, 원본 비디오, 참조 이미지 등을 하나의 conditioning으로 처리한다. 그러나 실제 요청은 이러한 입력이 부족한 경우가 많아 편집 목표가 불완전하게 주어진다. Aurora는 VLM 에이전트가 원시 요청을 모델에 맞는 네 가지 필드 계획으로 확장하고, 필요시 웹 이미지 검색과 grounded segmentation으로 누락된 시각적 조건을 보충한다. 그 뒤 비디오 DiT가 단일 conditioning tuple로 이를 수용해 일관된 편집 결과를 낸다. AgentEdit-Bench를 통해 텍스트/시각적 underspecification 하에서의 전체 프레임워크를 평가하며, 동일 VLM 에이전트가 다른 비디오 편집 모델로도 전달 가능함을 보인다.

Paragraph 1: 영상 편집은 텍스트 지시, 원본 비디오의 보존 영역, 시각적 속성의 참조 이미지로 구성되며, underspecification이 편집 품질을 저해한다. 이러한 한계는 conditioning 채널 간의 불완전 매핑에서 비롯된다. Paragraph 2: Aurora는 VLM 에이전트를 도입해 raw 요청으로부터 4-field edit plan을 생성하고, image_search(Tsearch)와 mask(Tmask) 도구를 통해 필요 시 참조 이미지를 보강한다. 또한 DiT는 두 개의 conditioning 경로를 통해 y′, Vsrc, R+를 받고, cross-attention과 self-attention으로 토큰을 결합한다. Paragraph 3: 학습 단계로 DiT의 flow-matching 기반 학습과 VLM 에이전트의 SFT/DPO 학습을 병행한다. 결과적으로 underspecification 상황에서도 편집 품질이 향상되며, 에이전트의 이점은 다른 비디오 편집 모델로도 확장된다.

단락 1: 전체 접근 방식은 VLM 에이전트- DiT의 이원 구조로 구분된다. VLM 에이전트는 입력 비디오 Vsrc, 원시 지시 y, 참조 R를 받아 네 가지 필드로 구성된 edit plan(p★)를 산출한다. 이때 y′는 rewrite된 지시문, c는 작업 라벨, q는 image_search 쿼리, m은 mask 문구이다. 단락 2: 도구 실행 단계에서 R+ = R ∪ Tsearch(q) ∪ Tmask(m, Vsrc)로 참조 자산을 보강한다. 빈 계획 필드는 도구 호출이 없음을 의미한다. 단락 3: Conditioning tuple x = (y′, Vsrc, R+)를 DiT에 전달한다. 다중 경로로 인코딩된 맥락 정보(Tctx)와 잠재 토큰 시퀀스(S)로 DiT가 학습한다.

AgentEdit-Bench에서의 주된 결과는 아래와 같다. Aurora(에이전트 포함) 대조군 대비 Overall 점수: 87.9% vs 74.7% (Aurora DiT 단독). SFT만 적용 시 85.0, 여기에 DPO를 추가하면 87.9로 상승. 에이전트의 전이가 다른 모델로도 성능을 향상시키며, OpenVE-Bench에서 Kiwi-Edit의 점수가 3.02에서 3.29로, Aurora-기반 DiT의 OpenVE-Bench 점수는 3.31에서 3.46으로 상승한다. EditVerse-Bench의 경우 UniVideo는 6.12에서 6.48로, Aurora(자체 모델)도 7.25에서 7.61로 향상된다. 기존 벤치마크에서도 Aurora는 Kiwi-Edit 대비 강하게 경쟁하며, Subtitle 제거를 제외한 항목에서 높은 성능을 유지한다.

Video DiT의 핵심은 two-path conditioning으로, 1) multimodal context encoder를 통한 y′, Vsrc, R+의 cross-attention과 2) latent 토큰 시퀀스를 통한 self-attention을 이용하는 점이다. Multimodal context encoder는 frozen Qwen3.5-4B를 이용해 instruction, sampled frames, 참조 이미지를 하나의 맥락으로 인코딩하고, 이 맥락은 DiT의 cross-attention 차원으로 매핑된다. Sref와 Ssrc는 각각 reference 이미지와 source 비디오 프레임의 패치 임베딩으로 결합되며, e_k 로 각 참조 이미지에 대한 인덱스 임베딩이 추가된다. AdaLN 모듈러를 통해 real-timestep(a(t))과 zero-timestep(a(0))를 혼합한 모듈레이션을 각 토큰에 적용한다. LFM(θ) 손실은 z_t의 denoising velocity v_θ와 x에 의한 조건화 벡터의 차이를 제곱합으로 최소화하는 형태로 정의되며, L_SFT와 L_DP O를 통해 VLM 에이전트의 행동 정책과 선호를 학습한다.

오프라인 DPO에 한정되며 온라인 RL은 계산 비용 및 현행 파이프라인의 복잡성으로 어려움. 또한 5B 백본의 영상 DiT는 큰 모션이나 새로운 피사체의 물체 동작에 한계가 있어, 더 큰 백본과 더 폭넓은 학습 데이터가 필요하다. 또한 저작권/초상권 문제 및 외부 참조 이미지의 사용 시 주의 필요.