DomainShuttle: 자유 형식 오픈 도메인 주체 기반 텍스트-투-비디오 생성

사용자가 제공한 참조 이미지의 '주체(subject)' 특징을 보존하면서도 스타일·도메인을 자유롭게 바꾸는 텍스트-투-비디오 생성이 가능해진다. 기존 기법이 주로 한쪽(고충실도 유지 또는 편집 유연성)에 치우쳤던 문제를 균형 있게 처리하여 실무적 개인화와 창작적 도메인 전환을 동시에 만족한다.

문제 출발점과 기존 한계: 주체 기반 텍스트-투-비디오(S2V)는 참조 이미지로부터 주체의 고유 속성(identity, hairstyle, skin color, clothing 등)을 보존하면서 텍스트로 지시한 스타일·도메인 변화를 적용해야 한다. 기존 접근은 주로 참조 충실도(인-도메인)에 초점을 맞춰 참조의 도메인 속성까지 함께 고정하는 경향이 있어 교차 도메인 변형(예: 실사→워터칼라, 판타지→실사)에서 편집 가능성이 떨어진다.

전체 접근과 핵심 아이디어: 모델 구조는 DiT 기반 비디오 디퓨전 백본을 사용하되, 비디오 latents와 참조 이미지 특징을 별도 경로로 처리하는 Domain-MoT로 분리한다. 분리된 경로는 자체 QKV와 RoPE를 가지며 참조 경로에는 domain-aware AdaLN이 삽입되어 도메인 속성만 별도로 주입한다. 텍스트-교차어텐션은 동결(frozen)하여 기본 모델의 텍스트 추종 능력을 유지한다.

Domain-MoT의 상세 메커니즘: 입력으로 3D VAE로 인코딩된 video latent와 reference features가 주어진다 → 각 경로를 patchify하여 fv, fr를 얻는다 → 각각 독립적인 Qv,Kv,Vv와 Qr,Kr,Vr를 학습 가능한 가중치로 투사한다 → in-context self-attention은 [Rv(Qv); Rr(Qr)]·[Rv(Kv);Rr(Kr)]/√d에 softmax를 적용해 [Vv, Vr]을 결합한다. 이때 Rv와 Rr는 서로 다른 RoPE 공간이다. 텍스트 cross-attention은 Qc(=Wq·[fv;fr])와 Kt,Vt(텍스트 임베딩)를 이용하며 해당 모듈은 동결되어 텍스트 지시가 유지된다.

Domain-aware AdaLN와 연산 흐름: 참조 AdaLN은 시간 t와 도메인 a를 입력으로 받아 scale γr(t,a), shift βr(t,a), gate gr(t,a)를 산출한다 → LN(fr)를 (1+γr)로 스케일하고 +βr를 더한 뒤 residual function ℱ(·)을 통과시킨 결과에 gate로 스케일링하고 원래 fr에 더해 최종 modulated reference feature를 얻는다. 비디오 쪽 AdaLN은 시간 정보만으로 조절되어 콘텐츠·시간적 구조를 보전한다.

Video-Reference DualRoPE와 CCL 구현: DualRoPE는 참조의 temporal index를 0으로 고정하고 spatial offsets 규칙(예: 서로 다른 주체 간 Δ=(0,h,w), 동일 주체의 다중 참조는 Δ=(0,0,w))을 적용한다. CCL은 참조 풀에서 서로 다른 두 참조 세트를 샘플링하여 동일 zt,t,text를 넣고 → 학습 가능한 분기 Gθ와 frozen 분기 Gθ의 출력 차이를 L2로 계산해(ℒC=||Gθ(zt,t,ct,cr)−Gθ(zt,t,ct,cr*)||2^2) trainable branch의 표현이 참조 변화에 불변하도록 학습시킨다.

메인 벤치마크 결과: 테스트셋은 인-도메인 110개, 크로스-도메인 110개 샘플로 구성되어 있다. 정량 결과에서 DomainShuttle (Wan2.2-14B)는 Cross-Domain CD-Score에서 18.7% 개선을 기록했고(예: CD-Score 0.861), text controllability( GMEScore 0.705 )와 motion smoothness 등 주요 지표에서 상위권을 차지했다. 표 1의 행별 비교에서 Wan2.2 기반의 DomainShuttle이 종합적으로 우수한 성능을 보였다.

Ablation 결과: Domain-MoT 단독으로 Naive 방식 대비 CD-Score를 0.697→0.783으로 향상시켰다. VR-DualRoPE와 CCL을 순차적으로 추가하면 CD-Score와 controllability가 계속 개선되어 최종 모델이 가장 높은 성능을 얻었다(테이블 2 참조). CCL은 주로 교차 도메인 컨트롤러능력 개선에 기여했으며(예: CD-Score +5.9%), 충실도(CLIP/DINO)는 소폭 향상에 그쳤다.

사용자 평가: 40명의 평가자에 의한 주관 평가에서 DomainShuttle 평균 점수는 Overall Video Quality 4.29, Text Controllability 4.33, Open-Domain Subject Consistency 4.75로 비교군 대비 유의미하게 높게 나타났다(비교군 예: Kling 1.6의 동일 지표 3.2 / 3.12 / 2.9).

전체 아키텍처: 백본은 DiT 기반의 DiT-style video diffusion model이며 입력 파이프라인은 3D VAE 인코더로 비디오와 참조 이미지를 latent space로 변환한다. 변환된 video latent와 reference feature는 Domain-MoT 내부에서 patchify되어 각각의 Transformer 경로로 들어간다. 각 Video DiT Block은 N층으로 쌓이며, 블록 내부에 독립 QKV, 독립 RoPE, domain-aware AdaLN, textual cross-attention(동결)이 포함된다. 출력은 flow-matching loss로 학습되는 vector field Gθ를 통해 재구성된다.