FashionChameleon: 실시간 및 대화형 인간-의상 비디오 커스터마이제션

패션 비주얼 콘텐츠와 이커머스에서 실시간 인터랙티브 커스터마이제이션의 수요가 커지고 있다. 본 연구는 단일-의상 데이터로도 다중 의상 전환을 가능한 프레임워크를 제시하고, 모션 일관성을 유지하면서 스트리밍 형태로 고품질 비디오를 생성한다. 제안 방식은 데이터 수집의 부담을 줄이고, 현장 적용 시 실시간성 및 상호작용성을 크게 향상시킨다.

출발점: 다중 의상 제어를 위한 데이터가 부족한 상황에서, 단일-의상 데이터로도 일관된 고품질 비디오를 생성하려면 추론 시점의 제약을 줄이고, 학습-추론 간 차이를 좁혀야 한다. 해결 원리: (1) In-Context Learning으로 참조-의상 정보를 한 백본에서 처리해 일관성을 유지, (2) Streaming Distillation으로 빠르고 안정적인 자동회귀 추론을 가능케 하되 GR-DMD로 긴 비디오에서의 일관성을 확보, (3) KV Cache Rescheduling으로 garment switching 시점마다 conditioning 신호를 재정렬하여 모션의 연속성을 보존한다. 달라지는 점: 데이타-샘플의 제약을 완화하고, 실시간 720p의 비디오를 23.8 FPS로 생성하는 등 실무 적용 부담을 낮춘 점이 핵심이다.

전체 접근은 세 축으로 구성된다. (1) Teacher Model with In-Context Learning: 참조 이미지(I_src)와 단일 garment 이미지(I_gar)를 입력으로 받아 멀티-모달 컨텍스트를 단일 백본에서 처리한다. (2) Streaming Distillation with In-Context Learning: 토큰 기반 teacher forcing으로 시작해, gradient-reweighted DMD로 추론 시점의 분포를 목표 분포에 맞춘다. (3) Training-Free KV Cache Rescheduling: KV 캐시를 garment(KV_gar), 참조(KV_src), 초기 프레임(KV_0)로 구성하고, garment KV Refresh, Historical KV Withdraw, Reference KV Disentangle를 통해 다중 의상 전환 동안 모션-일관성을 유지한다. 수학적 원리: L_DMD는 s_real과 s_fake의 KL 차이를 최소화하는 방향으로 파라미터를 갱신하며, GR-DMD는 프레임별 가중치를 보정해 장기 추정에서의 품질 저하를 완화한다.

주요 벤치마크에서 FashionChameleon은 시간적 일관성, 비주얼 품질, 의상 일치도에서 기존 baselines를 능가한다. 23.8 FPS의 실시간 720p 생성과 30-180배 속도 향상을 보고하며, Long-Video extrapolation에서도 안정적인 성능을 보인다.

비디오-디퓨전 기반 Diffusion Transformer 구조를 사용하며, (i) E(VAE) 기반 shared latent space를 사용해 reference/garmlent를 비디오 잠재공간과 함께 처리, (ii) Multi-Modal Attention으로 reference_latent, garment_latent, video_latent를 하나의 uni-t로 융합해 프레임을 생성, (iii) GR-DMD를 통한핏-일관성 강화와 in-context teacher forcing으로 학습-추론 간의 차이 감소, (iv) KV Cache 관리로 garment switching 시점의 conditioning 신호를 최신화하는 기술로 구성된다. 데이터 큐레이션 파이프라인은 4단계(일반-정밀 필터링, 정적/동적 캡션, 의상 이미지 추출, 적응적 참조 이미지 구성)로 구성된다.

제한점으로는(1) 현재 학습 데이터가 의상 카테고리의 다양성에 한계가 있어 복잡한 동작/카메라 이동에서 일반화가 제한될 수 있음, (2) Wan 계열 백본 등에 의존하는 부분이 있어 최신 비디오 생성 백본에 대한 일반화가 필요, (3) 카메라 동작이 큰 경우 디테일 손실 가능성.