Motion4Motion: 추론 단계에서 피사체 간 모션 전이를 구현하는 학습-프리 프레임워크

기존의 모션 전이 연구는 인간 골격에 의존해 다른 형태의 생물이나 사물로 일반화하는 데 한계가 있었다. Motion4Motion은 골격 기반 제약을 제거하고 픽셀 단위의 모션 흐름을 기본 단위로 사용하여 서로 다른 형태의 피사체 간에도 모션을 전이할 수 있게 했다. 학습 없이 추론 단계에서 attention을 조작하는 설계는 대규모 트레이닝 데이터나 종별 라벨이 부족한 상황에서도 즉시 적용 가능한 실용적 이점을 제공한다.

문제의 출발점은 골격 기반 모션 전이가 서로 다른 형태의 피사체로 일반화되기 어렵다는 점이다. 골격 표현은 인간형 구조에 최적화되어 있어 종간 형태 차이가 큰 경우 대응관계를 정의하기 힘들고, 훈련 데이터도 특정 토폴로지에 집중되어 있다. 따라서 픽셀 단위의 시공간 동역학을 직접 다루는 표현이 필요하다. 본 논문의 해결 원리는 시공간 token 수준의 attention을 조작해 소스의 픽셀 궤적을 대상의 시공간 좌표로 재투영하는 것이다. Motion4Motion은 소스 비디오에서 anchor 포인트를 샘플링하고 각 포인트의 프레임별 좌표를 추적하여 모션 흐름을 구성한 뒤, 대상의 appearance K,V를 반복하여 시공간 좌표에 대응시키도록 RoPE에 의해 재위치시킨다. RoPE는 query와 key에 상대적 위치를 주입하므로, 패딩된 키/값이 특정 시공간 위치를 가리키면 쿼리가 해당 위치의 값을 참조하도록 attention이 유도된다. 이 접근은 학습 과정 없이도 denoising 과정에서 모델이 대상의 외형을 소스 궤적 위치에 합성하게 한다. 쿼리는 변경하지 않고 K,V만 확장·재임베딩하므로 기존 DiT의 분포를 심하게 변경하지 않으면서도 국소적인 모션 유도를 달성한다. 결과적으로 골격 정보를 요구하지 않으면서도 포인트-투-픽셀 정렬로 세밀한 포즈 유지를 가능하게 했다.

전체 프레임워크는 세 단계로 구성된다: 소스의 anchor 샘플링 및 포인트 매칭, 소스 비디오에서의 포인트 트래킹으로 모션 흐름 추출, 그리고 추출된 흐름을 대상의 K,V에 RoPE 기반으로 주입하여 denoising 시 attention을 조작하는 단계이다. 첫 단계에서 소스의 첫 프레임 마스크 영역에서 N개의 대표 포인트를 Grounded SAM-2를 통해 샘플링하고 diffusion feature matching으로 대상 이미지의 대응 좌표를 찾는다. 두 번째 단계에서는 DIFT 기반 포인트 트래킹을 통해 각 포인트의 F 프레임에 걸친 궤적을 구성해 topology-agnostic한 모션 흐름을 생성한다. 세 번째 단계의 핵심은 TransPE 모듈이다. 대상의 역투영(inversion)으로 얻은 각 레이어의 K_tgt^1와 V_tgt^1에서 관심 좌표의 토큰을 슬라이스해 복제한 뒤 F번 반복하여 \hat{K}, \hat{V}를 구성한다. 이 \hat{K}에 대해 RoPE를 적용할 때 모션 흐름 좌표 M^{tgt}를 인가해 positional embedding을 재배치하고, 원래의 K,V에 이어붙여 K_{new}=[RoPE(K), RoPE(\hat{K},M^{tgt})], V_{new}=[V,\hat{V}]로 만든 다음 쿼리는 변경하지 않고 기존 self-attention 연산에 삽입한다. 실제 적용에서는 denoising 단계 T와 블록 범위 [l_b,l_e) 및 적용 스텝 범위 [s_b,s_e)을 지정해 제한적으로 TransPE를 적용하며, 이를 통해 전반적 화질과 모션 충실도 사이의 균형을 조절한다. 알고리즘상 inversion-기반으로 대상을 초기화하고 K,V를 캐시하는 점이 전체 파이프라인의 안정성과 일관성에 기여한다.

정량 평가에서 Motion4Motion은 인간 및 동물 전이 벤치마크에서 모든 주요 지표에서 기존 방법을 능가했다. 표에 따르면 Human 셋에서 TS 0.288, MF 0.452, TC 0.955, AC 0.971을 기록했고 Animal 셋에서 TS 0.282, MF 0.441, TC 0.948, AC 0.962를 기록했으며 Pose Similarity(PS)는 0.543으로 비교군 대비 유의한 개선을 보였다. 논문은 이 성능 향상을 로컬 포인트-투-픽셀 제어가 전반적 모션 충실도를 높였기 때문으로 해석했다. 정성적 비교에서는 RoPECraft, MotionClone, FlexiAct 등 기존 기법들이 형태 차이가 큰 사례에서 자세 변화의 강직성, 외형 왜곡, 고스팅 또는 텍스처 흐림 등의 문제를 보인 반면 Motion4Motion은 포즈 정렬과 외형 보존을 동시에 유지한 결과를 제시했다. 특히 여우의 보행을 기린에 전달하거나 사자 도약을 얼룩말로 전달하는 크로스-모폴로지 예시에서 세밀한 관절 궤적이 잘 유지되었다. 사용자 연구 결과에서도 Motion4Motion은 쌍비교에서 Motion Consistency 92.5% 대 7.5%와 Appearance Consistency 87.8% 대 12.2%로 기준 모델 및 경쟁 기법보다 현저히 선호되었다. 추가로 ablation으로 제시된 조작 스텝 비교에서 기본 전략(스텝 35)이 무조작(스텝 0)보다 모션 재현에 유리했고, 전체 스텝(스텝 50)으로의 과도한 적용은 텍스처 늘어짐과 의미적 혼동을 초래함이 관찰되었다.

시스템은 WAN-T2V(논문에서는 WAN-14B-T2V, 480p)를 base로 하며 입력 비디오는 3D causal VAE를 통해 latent z ∈ R^{(1+⌊F/4⌋)×H/8×W/8×C}로 압축된다. DiT 백본은 L개의 Transformer 블록을 포함하며 각 블록의 self-attention은 쿼리·키·값 Q,K,V와 RoPE를 사용한 상대적 위치 인코딩으로 구성된다. Motion4Motion은 이 latent 공간의 attention 계산에 intervention을 수행해 denoising 과정에서 대상이 특정 시공간 좌표로 합성되도록 유도한다. TransPE의 수학적 핵심은 대상의 appearance K_tgt^1[P_tgt], V_tgt^1[P_tgt]를 슬라이스하고 F번 복제해 \hat{K},\hat{V}를 구성한 뒤 RoPE(\hat{K}, M^{tgt})로 위치를 재임베딩하여 K_new=[RoPE(K), RoPE(\hat{K},M^{tgt})], V_new=[V,\hat{V}]로 attention 입력을 확장하는 것이다. 쿼리 Q는 변경하지 않으며 그 결과 Softmax(RoPE(Q)·K_{new}^T/√d)·V_{new} 계산이 수행되어 denoising 출력 X가 목표 시공간 위치의 대상 appearance를 참조한다. 이 과정은 쿼리 공간을 건드리지 않고 키/값 공간만 확장·재배치하므로 전체 분포의 급격한 변동 없이 모션 유도를 가능하게 한다. 포인트 매칭과 트래킹은 해상도 보정과 함께 실제 구현 세부로 다뤄졌다. 대상 마스크와 포인트 좌표는 latent 해상도에 맞춰 1/8로 다운샘플되고, anchor 샘플링은 Grounded SAM-2 기반이며 대응은 diffusion feature matching으로 수행된다. 트래킹은 DIFT feature 기반 포인트 트래커로 각 anchor의 프레임별 좌표를 산출하고 이 궤적이 RoPE 인자 M^{tgt}로 사용된다. 구현상 기본 설정은 WAN-14B-T2V, 480p 해상도, TransPE 적용 레이어 범위 [0,40], 기본 denoising 스텝 50 중 35에서 TransPE 적용이다. 학습 세부사항은 없으나 운영적 제약과 재현을 위해 inversion, 캐시된 K/V 사용, 선택적 레이어·스텝 적용 및 RoPE 재임베딩 순서가 명시되었다. 실험 수행 환경은 단일 NVIDIA H-800 GPU로 기술되어 있으며, 이 점은 고해상도나 대규모 배치 실험을 수행할 때 요구되는 연산 자원에 대한 참고가 된다.

논문에서 보고된 명시적 한계로는 TransPE를 denoising 전체 스텝에 걸쳐 과도하게 적용하면 텍스처 스트레칭과 의미적 혼동이 발생해 화질 저하를 초래한다는 점이다. 또한 소스-대상 포인트 매칭과 트래킹의 정확성에 크게 의존하므로 SAM-2 기반 분할이나 diffusion feature 매칭이 실패하면 전이 품질이 떨어질 위험이 존재한다. 구현 및 평가가 WAN-T2V-14B 백본에 의존해 있으므로 제안 기법의 효과는 사용된 base model의 표현력과 latent 해상도에 의해 제한될 수 있다.