Motion4Motion: 추론 단계에서 피사체 간 모션 전이를 구현하는 학습-프리 프레임워크

왜 중요한가

기존의 모션 전이 연구는 인간 골격에 의존해 다른 형태의 생물이나 사물로 일반화하는 데 한계가 있었다. Motion4Motion은 골격 기반 제약을 제거하고 픽셀 단위의 모션 흐름을 기본 단위로 사용하여 서로 다른 형태의 피사체 간에도 모션을 전이할 수 있게 했다. 학습 없이 추론 단계에서 attention을 조작하는 설계는 대규모 트레이닝 데이터나 종별 라벨이 부족한 상황에서도 즉시 적용 가능한 실용적 이점을 제공한다.

관련 Figure

Infographic
이 그림은 인간, 판다, 거위, 백조 등 형태가 다른 대상들에 동일한 참조 모션을 전이한 결과를 비교해 보여준다. 시각적으로 대상의 외형 보존과 포즈 정렬이 동시에 이루어지는지를 한눈에 확인할 수 있으며 크로스-종 전이가 핵심 성능 목표임을 강조한다. 또한 학습-프리 접근으로 다양한 대상에 적용 가능한 점을 시각적 근거로 제공한다.
다양한 소스-대상 쌍에서 Motion4Motion이 골격 없이도 모션을 전이해 서로 다른 형태의 대상에서 일관된 포즈 시퀀스를 생성한 결과를 요약한 티저 이미지이다.

핵심 기여

학습-프리(Training-free) 모션 전이 프레임워크

Motion4Motion은 학습 과정 없이 추론 시에만 동작하도록 설계되어 사전 학습된 WAN-T2V 백본에 attention 조작을 적용해 모션을 전이한다. 이 접근은 대규모 종간 라벨 데이터가 없는 상황에서도 즉시 적용 가능하며 학습 기반 방법이 갖는 데이터 종속성과 비용 제약을 회피한다. 구현상으로는 역투영(inversion)으로 대상의 K,V를 캐시하고 denoising 루프에서 조건적으로 삽입하는 방식으로 동작한다.

TransPE: 위치 인코딩 기반 모션 주입 모듈

TransPE는 대상의 appearance 키/값을 복제해 RoPE에 소스 모션 궤적을 인가한 뒤 기존 K,V에 이어붙여 attention 공간에 패딩하는 기법이다. 이렇게 패딩된 K,V는 쿼리를 변경하지 않으면서 denoising 과정이 대상의 피처를 지정된 시공간 좌표로 합성하도록 유도한다. 이 방법은 골격 템플릿 없이 픽셀 단위의 궤적을 직접 주입해 서로 다른 형태 간 의미론적 정렬을 실현한다.

토큰 수준의 교차 이미지 포인트 매칭과 흐름 추적

소스 영상의 대표 anchor 포인트를 SAM-2 기반 마스크 및 diffusion feature 매칭으로 샘플링하고, DIFT 기반 트래킹으로 각 포인트의 시공간 궤적을 추적한다. 이 두 단계의 합성으로 소스-대상 간 포인트 대응과 대상의 목표 시공간 좌표가 구성되어 TransPE의 위치 인코딩 입력으로 사용된다. 포인트 매칭은 형태 차이가 큰 피사체 간에도 의미론적 부품 대응을 확보하는 데 핵심 역할을 한다.

실험적 검증과 응용 확장

제안된 방법은 인간 및 동물 벤치마크에서 텍스트 유사도, 모션 충실도, 시간적 일관성, 외형 보존 등 주요 지표에서 기존 기법들을 상회했다. 추가로 학습 없이 정적 사물에 생물학적 궤적을 전이하는 교종 응용(예: 테이블 걷기)과 인터넷의 실제 이미지에 대한 제로샷 전이 사례를 보였다. 논문은 정량 결과, 사용자 연구, 그리고 조작 단계에 따른 ablation을 포함해 성능 근거를 제시한다.

핵심 아이디어 이해하기

문제의 출발점은 골격 기반 모션 전이가 서로 다른 형태의 피사체로 일반화되기 어렵다는 점이다. 골격 표현은 인간형 구조에 최적화되어 있어 종간 형태 차이가 큰 경우 대응관계를 정의하기 힘들고, 훈련 데이터도 특정 토폴로지에 집중되어 있다. 따라서 픽셀 단위의 시공간 동역학을 직접 다루는 표현이 필요하다. 본 논문의 해결 원리는 시공간 token 수준의 attention을 조작해 소스의 픽셀 궤적을 대상의 시공간 좌표로 재투영하는 것이다. Motion4Motion은 소스 비디오에서 anchor 포인트를 샘플링하고 각 포인트의 프레임별 좌표를 추적하여 모션 흐름을 구성한 뒤, 대상의 appearance K,V를 반복하여 시공간 좌표에 대응시키도록 RoPE에 의해 재위치시킨다. RoPE는 query와 key에 상대적 위치를 주입하므로, 패딩된 키/값이 특정 시공간 위치를 가리키면 쿼리가 해당 위치의 값을 참조하도록 attention이 유도된다. 이 접근은 학습 과정 없이도 denoising 과정에서 모델이 대상의 외형을 소스 궤적 위치에 합성하게 한다. 쿼리는 변경하지 않고 K,V만 확장·재임베딩하므로 기존 DiT의 분포를 심하게 변경하지 않으면서도 국소적인 모션 유도를 달성한다. 결과적으로 골격 정보를 요구하지 않으면서도 포인트-투-픽셀 정렬로 세밀한 포즈 유지를 가능하게 했다.

관련 Figure

Diagram
이 그림은 특정 쿼리 포인트의 attention이 의미적 유사성보다는 시공간적 인접성에 의해 강하게 형성되는 현상을 보여준다. Motion4Motion은 이 특성을 이용해 패딩된 키/값에 모션 기반 위치 인코딩을 넣으면 attention이 의도한 좌표를 참조하도록 유도할 수 있음을 시각적으로 근거로 제시한다. 따라서 RoPE의 상대적 위치 민감성이 TransPE의 작동 원리와 직결된다.
RoPE와 self-attention이 시공간 인접성에 민감해 의미적으로 유사한 토큰보다 근접한 토큰에 더 큰 attention을 주는 성질을 보이는 예시 다이어그램이다.

방법론

전체 프레임워크는 세 단계로 구성된다: 소스의 anchor 샘플링 및 포인트 매칭, 소스 비디오에서의 포인트 트래킹으로 모션 흐름 추출, 그리고 추출된 흐름을 대상의 K,V에 RoPE 기반으로 주입하여 denoising 시 attention을 조작하는 단계이다. 첫 단계에서 소스의 첫 프레임 마스크 영역에서 N개의 대표 포인트를 Grounded SAM-2를 통해 샘플링하고 diffusion feature matching으로 대상 이미지의 대응 좌표를 찾는다. 두 번째 단계에서는 DIFT 기반 포인트 트래킹을 통해 각 포인트의 F 프레임에 걸친 궤적을 구성해 topology-agnostic한 모션 흐름을 생성한다. 세 번째 단계의 핵심은 TransPE 모듈이다. 대상의 역투영(inversion)으로 얻은 각 레이어의 K_tgt^1와 V_tgt^1에서 관심 좌표의 토큰을 슬라이스해 복제한 뒤 F번 반복하여 \hat{K}, \hat{V}를 구성한다. 이 \hat{K}에 대해 RoPE를 적용할 때 모션 흐름 좌표 M^{tgt}를 인가해 positional embedding을 재배치하고, 원래의 K,V에 이어붙여 K_{new}=[RoPE(K), RoPE(\hat{K},M^{tgt})], V_{new}=[V,\hat{V}]로 만든 다음 쿼리는 변경하지 않고 기존 self-attention 연산에 삽입한다. 실제 적용에서는 denoising 단계 T와 블록 범위 [l_b,l_e) 및 적용 스텝 범위 [s_b,s_e)을 지정해 제한적으로 TransPE를 적용하며, 이를 통해 전반적 화질과 모션 충실도 사이의 균형을 조절한다. 알고리즘상 inversion-기반으로 대상을 초기화하고 K,V를 캐시하는 점이 전체 파이프라인의 안정성과 일관성에 기여한다.

관련 Figure

Diagram
그림은 첫 프레임에서 샘플된 anchor 포인트가 diffusion feature 매칭으로 대상 좌표에 대응되고, DIFT 기반 트래킹으로 각 포인트의 프레임별 궤적이 구성되는 흐름을 단계적으로 보여준다. 이 과정은 topology-agnostic한 모션 표현인 모션 흐름을 생성하며 이후 TransPE에서 위치 인코딩의 입력으로 사용된다. 그림은 대응 관계와 궤적 생성이 TransPE 입력으로 어떻게 연결되는지 구조적 근거를 제공한다.
소스와 대상 이미지 간 포인트 매칭과 소스 비디오에서의 포인트 트래킹으로 모션 흐름을 구성하는 과정을 보여주는 도식이다.

Diagram
이 도면은 두 개의 브랜치(unedited, edit)와 DiT 블록 내에서 TransPE가 작동하는 위치를 보여준다. 특히 K와 V를 확장해 원래 키/값 뒤에 appearance 기반 토큰을 이어붙이고, 그 토큰들에 대해 RoPE를 M^{tgt}로 적용해 attention이 목표 좌표를 참조하도록 만드는 세부 연산 흐름을 명확하게 시각화한다. 이 그림은 알고리즘 1의 단계와 수식(2)(3)의 연결 고리를 시각적으로 보완한다.
Motion4Motion의 전체 시스템 구조와 TransPE가 self-attention의 K,V에 어떻게 패딩되고 RoPE로 재위치되는지를 요약한 시스템 도해이다.

주요 결과

정량 평가에서 Motion4Motion은 인간 및 동물 전이 벤치마크에서 모든 주요 지표에서 기존 방법을 능가했다. 표에 따르면 Human 셋에서 TS 0.288, MF 0.452, TC 0.955, AC 0.971을 기록했고 Animal 셋에서 TS 0.282, MF 0.441, TC 0.948, AC 0.962를 기록했으며 Pose Similarity(PS)는 0.543으로 비교군 대비 유의한 개선을 보였다. 논문은 이 성능 향상을 로컬 포인트-투-픽셀 제어가 전반적 모션 충실도를 높였기 때문으로 해석했다. 정성적 비교에서는 RoPECraft, MotionClone, FlexiAct 등 기존 기법들이 형태 차이가 큰 사례에서 자세 변화의 강직성, 외형 왜곡, 고스팅 또는 텍스처 흐림 등의 문제를 보인 반면 Motion4Motion은 포즈 정렬과 외형 보존을 동시에 유지한 결과를 제시했다. 특히 여우의 보행을 기린에 전달하거나 사자 도약을 얼룩말로 전달하는 크로스-모폴로지 예시에서 세밀한 관절 궤적이 잘 유지되었다. 사용자 연구 결과에서도 Motion4Motion은 쌍비교에서 Motion Consistency 92.5% 대 7.5%와 Appearance Consistency 87.8% 대 12.2%로 기준 모델 및 경쟁 기법보다 현저히 선호되었다. 추가로 ablation으로 제시된 조작 스텝 비교에서 기본 전략(스텝 35)이 무조작(스텝 0)보다 모션 재현에 유리했고, 전체 스텝(스텝 50)으로의 과도한 적용은 텍스처 늘어짐과 의미적 혼동을 초래함이 관찰되었다.

관련 Figure

Photo
비교 그림은 RoPECraft, MotionClone, FlexiAct 등과 Motion4Motion의 프레임별 결과를 나란히 배치해 모션 충실도, 외형 보존, 시간적 일관성의 차이를 강조한다. Motion4Motion의 결과는 상대적으로 더 자연스러운 관절 움직임과 적은 텍스처 왜곡을 유지하는 사례가 많아 정량 지표의 향상 원인과 일치한다. 이 이미지는 논문의 정성 평가 주장과 사용자 연구 결과를 보강하는 근거로 작동한다.
여러 기준 사례에서 Motion4Motion과 기존 방법들의 정성적 비교 결과를 배열로 보여주는 그림이다.

Photo
그림은 스텝 0에서 대상 피처가 의도 좌표로 재배치되지 않아 모션 전이가 실패함을 보여주며, 스텝 35에서는 모션 충실도와 시각적 현실감 사이의 균형이 최적으로 보인다. 반면 스텝 50으로 모든 과정에 과도하게 적용하면 텍스처 스트레칭과 의미적 혼동이 발생하는 사례를 시각적으로 제시해 TransPE 적용 범위의 튜닝 필요성을 뒷받침한다. 이 결과는 논문에서 제시한 적용 스텝 설정의 근거가 된다.
TransPE 조작을 적용하지 않은 상태, 기본 전략(스텝 35), 전체 스텝(스텝 50)에서의 결과를 비교해 보여주는 ablation 그림이다.

기술 상세

시스템은 WAN-T2V(논문에서는 WAN-14B-T2V, 480p)를 base로 하며 입력 비디오는 3D causal VAE를 통해 latent z ∈ R^{(1+⌊F/4⌋)×H/8×W/8×C}로 압축된다. DiT 백본은 L개의 Transformer 블록을 포함하며 각 블록의 self-attention은 쿼리·키·값 Q,K,V와 RoPE를 사용한 상대적 위치 인코딩으로 구성된다. Motion4Motion은 이 latent 공간의 attention 계산에 intervention을 수행해 denoising 과정에서 대상이 특정 시공간 좌표로 합성되도록 유도한다. TransPE의 수학적 핵심은 대상의 appearance K_tgt^1[P_tgt], V_tgt^1[P_tgt]를 슬라이스하고 F번 복제해 \hat{K},\hat{V}를 구성한 뒤 RoPE(\hat{K}, M^{tgt})로 위치를 재임베딩하여 K_new=[RoPE(K), RoPE(\hat{K},M^{tgt})], V_new=[V,\hat{V}]로 attention 입력을 확장하는 것이다. 쿼리 Q는 변경하지 않으며 그 결과 Softmax(RoPE(Q)·K_{new}^T/√d)·V_{new} 계산이 수행되어 denoising 출력 X가 목표 시공간 위치의 대상 appearance를 참조한다. 이 과정은 쿼리 공간을 건드리지 않고 키/값 공간만 확장·재배치하므로 전체 분포의 급격한 변동 없이 모션 유도를 가능하게 한다. 포인트 매칭과 트래킹은 해상도 보정과 함께 실제 구현 세부로 다뤄졌다. 대상 마스크와 포인트 좌표는 latent 해상도에 맞춰 1/8로 다운샘플되고, anchor 샘플링은 Grounded SAM-2 기반이며 대응은 diffusion feature matching으로 수행된다. 트래킹은 DIFT feature 기반 포인트 트래커로 각 anchor의 프레임별 좌표를 산출하고 이 궤적이 RoPE 인자 M^{tgt}로 사용된다. 구현상 기본 설정은 WAN-14B-T2V, 480p 해상도, TransPE 적용 레이어 범위 [0,40], 기본 denoising 스텝 50 중 35에서 TransPE 적용이다. 학습 세부사항은 없으나 운영적 제약과 재현을 위해 inversion, 캐시된 K/V 사용, 선택적 레이어·스텝 적용 및 RoPE 재임베딩 순서가 명시되었다. 실험 수행 환경은 단일 NVIDIA H-800 GPU로 기술되어 있으며, 이 점은 고해상도나 대규모 배치 실험을 수행할 때 요구되는 연산 자원에 대한 참고가 된다.

한계점

논문에서 보고된 명시적 한계로는 TransPE를 denoising 전체 스텝에 걸쳐 과도하게 적용하면 텍스처 스트레칭과 의미적 혼동이 발생해 화질 저하를 초래한다는 점이다. 또한 소스-대상 포인트 매칭과 트래킹의 정확성에 크게 의존하므로 SAM-2 기반 분할이나 diffusion feature 매칭이 실패하면 전이 품질이 떨어질 위험이 존재한다. 구현 및 평가가 WAN-T2V-14B 백본에 의존해 있으므로 제안 기법의 효과는 사용된 base model의 표현력과 latent 해상도에 의해 제한될 수 있다.

실무 활용

Motion4Motion은 사전 학습된 DiT 계열 비디오 생성 모델에 추론 단계의 attention 조작만으로 모션 전이를 실행하기 때문에, 별도 대규모 재학습 없이도 다양한 실무 파이프라인에 통합 가능하다. 특히 인간형 골격이 없는 동물이나 정적 사물에 대해 소스 비디오의 모션을 고충실도로 전이할 수 있어 애니메이션, 콘텐츠 제작, 특수효과 분야에 유용하다. 실제 이미지의 제로샷 전환과 교종 전이(예: 테이블에 걷는 동작 부여) 사례가 논문에서 실용성을 뒷받침한다.

애니메이션 제작 파이프라인에서 배우의 동작을 다양한 비인간 캐릭터로 전이해 초안 애니메이션을 빠르게 생성하는 용도
영화·비디오 후반 작업에서 촬영된 동작을 다른 종(동물)이나 소품으로 재사용해 합성 비용을 절감하는 용도
정적 제품 이미지에 동적 모션을 부여해 광고·인터랙티브 콘텐츠용 모션 시퀀스를 생성하는 용도

코드 공개 여부: 미확인

관련 Figure

Photo
이 그림은 인간 다리와 테이블 다리 간의 마스크 바인딩을 통해 구조적 모호성을 줄이고 Motion4Motion이 비생물체에 생물학적 궤적을 적용하는 과정을 시각적으로 나타낸다. 전이 결과는 대상의 구조적 무결성과 환경 일관성을 유지하면서 걷기 모션을 동기화하는 성공 사례를 제공해 실무 응용 가능성을 제시한다. 따라서 이 이미지는 논문의 응용 섹션과 practical use 주장을 강화한다.
인체 보행 동작을 테이블에 바인딩해 테이블이 걷는 동작으로 전이한 교종(Cross-morphology) 응용 사례를 보여주는 그림이다.

키워드

TransPE(Transferring Positional Encoding)Diffusion Transformer(확산 Transformer)RoPE(Rotary Positional Embedding)motion flow(모션 흐름)training-free(학습-프리)

용어 해설

Transferring Positional Encoding(TransPE): — TransPE는 소스 비디오에서 추출한 픽셀 단위 모션 흐름을 대상의 키/값 토큰에 위치 정보와 함께 패딩하여 self-attention 계산이 목표 좌표를 '찾도록' 유도하는 모듈이다. 구체적으로 대상의 appearance 키/값을 복제한 뒤 RoPE에 소스 모션 궤적을 인가해 새로운 K,V를 생성하고 Q는 그대로 유지하여 denoising 단계에서 대상의 피쳐가 전달된 궤적에 합성되도록 한다. 이 방식은 골격 기반 매칭 없이도 서로 다른 형태의 피사체에 모션을 재현할 수 있게 한다.
Rotary Positional Embedding(RoPE): — RoPE는 쿼리와 키 텐서의 일부 차원을 회전시켜 상대적 위치 정보를 주입하는 위치 인코딩 방식이다. 시간·공간 좌표에 따른 회전을 적용하면 인접 토큰들이 attention 계산에서 더 강한 상관성을 가지게 되어 국소 구조와 연속적 모션을 보존하는 데 유리하다. Motion4Motion은 RoPE를 모션 궤적 좌표와 결합해 패딩된 키/값이 지정된 시공간 위치를 가리키게 한다.
Diffusion Transformer: — Diffusion Transformer(DiT)는 확산 기반 생성 과정에서 Transformer 블록을 사용해 시공간 토큰 간 상호작용을 모델링하는 아키텍처이다. Motion4Motion은 WAN-T2V 같은 DiT 백본의 self-attention을 조작하여 학습 없이 모션을 주입한다. 이 구조는 latent 공간의 토큰들 사이의 attention 조작으로 시각적 모션 합성을 가능하게 한다.
WAN-T2V: — WAN-T2V는 DiT 기반의 텍스트-투-비디오/이미지-투-비디오 모델로, 3D causal VAE로 입력 비디오를 latent로 압축하고 Transformer 블록으로 denoising velocity를 예측한다. Motion4Motion은 WAN-T2V-14B(480p) 백본을 기반으로 TransPE를 적용해 패딩된 키/값을 self-attention에 연결한다. 모델의 latent 해상도와 블록 수가 TransPE 적용 범위를 결정하는 핵심 요소이다.

코드 예제

text

Input: Source video V_src, target subject I_tgt, text prompt c, total steps T, total layers L, begin/end step s_b/s_e, begin/end layer l_b/l_e
Output: Transferred video V_tgt
// Stage 1: Motion Flow Extraction
P_src^1 <- SampleAnchors(V_src[0])
P_tgt <- SemanticMatch(P_src^1, I_tgt)
M_src <- PointTrack(P_src^1, V_src)
M_tgt <- M_src  // via mapping M = I o C^{-1}
// Stage 2: Latent Initialization
V_gen <- Generate(I_tgt, c)
z0 <- Inversion(V_gen)
Cache K_tgt^1, V_tgt^1 from inversion at each layer
// Stage 3: Denoising with TransPE
for t = 0 to T-1 do
  for l = 0 to L-1 do
    Compute Q, K, V from z_t at layer l
    if t < s_e and l_b <= l < l_e then
      K^ <- Repeat(K_tgt^1[P_tgt], F)
      V^ <- Repeat(V_tgt^1[P_tgt], F)
      K_new <- [RoPE(K), RoPE(K^, M_tgt)]
      V_new <- [V, V^]
      X <- Softmax( RoPE(Q) * K_new^T / sqrt(d) ) * V_new
    else
      X <- standard self-attention
    z_{t+1} <- update with velocity prediction
V_tgt <- Decode(z_T)

이 의사코드는 Motion4Motion의 전체 파이프라인을 단계별로 보여준다. 먼저 소스 비디오에서 anchor 포인트를 샘플링하고 대응되는 대상 좌표와 시공간 궤적을 추출한 뒤, 대상 이미지로부터 생성 및 역투영을 통해 초기 latent를 얻어 캐시된 K,V를 준비한다. 이후 denoising 루프에서 지정한 단계와 레이어 범위에 한해 TransPE로 키/값을 패딩하고 RoPE에 모션 궤적을 주입하여 attention을 조작한다.

Motion4Motion: 추론 단계에서 피사체 간 모션 전이를 구현하는 학습-프리 프레임워크

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

코드 예제

관련 토론

댓글

관련 기사

카메라 궤적을 따르는 영상 생성법 SCoPE

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

카메라 궤적을 따르는 영상 생성법 SCoPE