TryOnCrafter: 렌더 가능한 4D Try-on 프록시로 실감형 카메라-제어 비디오 가상 피팅 구현

사용자가 임의의 시점으로 옷을 회전·확인하는 실무적 요구를 기존 VVT는 입력 비디오의 고정 카메라 궤적에 의존해 충족하지 못한다. TryOnCrafter는 인간과 배경을 분리한 렌더 가능한 4D 프록시를 기반으로 DiT를 구동해 임의 카메라 궤적에서도 텍스처·구조·동작 일관성을 유지하는 카메라-컨트롤러블 비디오 가상 피팅을 실현한다.

문제 출발점과 기존 한계: Video Virtual Try-on(VVT)은 목표 의상(texture)을 동적 인물 비디오에 일관되게 합성하는 작업이다. 기존 VVT는 입력 비디오의 카메라 경로에 종속되어 있어 사용자가 새로운 시점으로 자유롭게 회전해 의상 뒷면·측면을 관찰하려는 요구를 충족하지 못한다. 또한, 단순한 포인트 클라우드나 픽셀-기반 조작은 극단적 시점 전환에서 구조 붕괴, 텍스처 누락, 배경과의 기하학적 불일치를 초래한다.

해결 원리: 본 논문은 인간(subject)과 배경(environment)을 명시적으로 분리한 'Renderable 4D Try-on Proxy'를 도입한다. 구체적으로, 소스 비디오에서 얻은 동적 포인트 클라우드(배경)와 SMPL-X 시퀀스(로컬 카메라 공간)를 앵커로 삼아 SMPL-X 정점들을 세계 좌표계로 매핑하는 유사변환(s_t, R_t, t_t)을 최적화한다. 이 최적화는 [입력: 포인트 클라우드의 관측점 p_i와 SMPL-X 정점 집합 V_t^{smpl}] → [연산: 각 관측점과 가장 근접한 SMPL-X 정점까지의 거리의 가중합(깊이 신뢰도·경계 근접도 기반 weight w_i)를 계산하고 s_t,R_t,t_t를 최소화] → [결과: metric-aligned SMPL-X 시퀀스] → [의미: 파라메트릭 아바타가 배경과 같은 스케일·좌표계에 정렬되어 시간적·공간적 일관성 확보].

구현적 핵심: 2D 기반 고품질 try-on 결과를 이미지-아바타 foundation model을 통해 canonical 3DGS avatar로 증류한다. 각 Gaussian primitive는 위치 x_i, 공분산 Σ_i, 투명도 σ_i, 색상 c_i를 포함하며, canonical A-pose에서 SMPL-X에 anchoring된다. 이후 Linear Blend Skinning(LBS)을 통해 각 프레임의 SMPL-X pose로 primitive를 변형해 posed avatar를 얻는다. 이 posed avatar와 배경 포인트 클라우드는 hybrid renderer(3DGS rasterizer + point renderer)로 픽셀-정렬된 렌더 영상을 생성하며, 이 렌더를 DiT의 구조적 prior로 주입해 합성 안정성을 높인다.

달라지는 점 및 효과: 렌더된 4D 프록시는 DiT의 생성 과정을 강하게 제약해 시점-무관(texture hallucination) 텍스처 보존과 물리적 일관성이 확보된다. 추가적으로 CRA 모듈은 DiT의 K/V를 공유하고 Q'/O'를 분리해 참조 도메인의 세부 신호를 low-overhead 방식으로 도입함으로써 ID 보존과 배경 정합을 개선한다. 결과적으로 ViViD와 CaM-VVTBench에서 VFID·SSIM·LPIPS 및 CaM-VVTBench의 Overall Score 기준으로 기존 방법을 능가했다.

전체 접근 및 핵심 아이디어: TryOnCrafter는 두 단계로 구성된다. 첫째, 4D Try-on Proxy Construction은 소스 비디오에서 깊이·카메라 파라미터를 추정해 전역 포인트 클라우드를 구성하고, SMPL-X 시퀀스와 앵커 기반 정렬을 통해 파라메트릭 아바타를 metric-aligned world space로 위치시킨다. 둘째, Proxy-Anchored Video Generation은 렌더된 프록시 시퀀스를 DiT에 주입하고 CRA와 멀티모달 조건화를 결합해 최종 비디오를 합성한다.

Scene reconstruction 및 Anchor-based Alignment: 입력으로는 각 시각 t에서의 깊이 D_t, 깊이 신뢰도 W_t, 카메라 파라미터 {K_t,R_t,t_t}가 있다. 이들로 back-projected 전역 포인트 클라우드 P가 생성되며 SAM 2로 사람/배경 성분(P^h, P^b)을 분리한다. SMPL-X 시퀀스 {Θ_t}는 로컬 카메라 공간 S^c에서 계산되므로, 유사변환 T(v)=s_t R_t v + t_t를 최적화해 SMPL-X 정점 V_t^{smpl}을 세계공간 S^w로 매핑한다. 최적화 목적식: 입력은 관측점 p_i와 SMPL-X 정점 집합 V_t^{smpl}이며, 연산은 각 p_i에 대해 min_{v in V_t^{smpl}} || s_t R_t v + t_t − p_i ||^2에 깊이/경계 기반 weight w_i를 곱해 합산하고 이를 s_t,R_t,t_t에 대해 최소화한다. 결과는 metric-aligned 파라메트릭 시퀀스로, 의미는 프록시와 배경의 스케일·좌표 불일치 제거이다.

Canonical 3DGS 아바타 생성 및 변형: 키프레임 I_{t*}에서 생성한 2D try-on 이미지 Ĩ_{t*}을 avatar foundation model에 입력해 canonical 3DGS avatar G_c를 얻는다. 각 gaussian primitive는 (x_i, Σ_i, σ_i, c_i)로 정의되며 canonical A-pose Θ_c에 앵커된다. 변형 단계에서는 LBS를 이용해 primitive 위치·공분산을 pose별로 변형: 연산 순서 — [입력: primitive의 canonical 위치 x_c와 스킨닝 가중치 w_j, 골격 변환 T_j,R'_j] → [연산: ∑_j w_j T_j x_c로 포즈 공간 좌표 계산 → 유사변환 T로 world space로 매핑] → [결과: world-space x와 Σ] → [의미: 프레임 단위로 세부 텍스처·형상 보존].

렌더링 및 DiT 조건화: posed avatar G_p는 3DGS rasterizer로 렌더되고 배경 P^b는 point-based renderer로 처리되어 렌더된 비디오 V_render를 생성한다. 이 V_render와 binary mask는 Wan Encoder로 인코딩되어 DiT의 patchify 단계에서 노이즈 latent와 채널 차원으로 결합된다. CRA 모듈은 DiT feature F_i와 reference feature F_l 사이에 weight-sharing attention을 적용: K and V projection weights(W_K,W_V)는 backbone과 공유되고 Q'와 O'는 독립적으로 학습된다. 연산은 sg(F_i)W_Q' · (F_l W_K)^T / sqrt(d) → Softmax → (F_l W_V) · W_O'로 reference residual O_l'를 얻고, 이를 Attn(F_i, ...)의 출력에 additive residual로 통합한다.

멀티모달 조건화 및 학습 파이프라인: CLIP 이미지 인코더로 garment feature f_gar와 UmT5 텍스트 인코더로 attribute token f_text를 추출해 DiT 블록의 cross-attention에 주입한다. 학습은 Wan2.1-I2V-14B 사전학습 모델을 기반으로 progressive two-stage training을 사용하고, 구현에는 16×NVIDIA A100(80GB)를 사용했다. 추론은 20 denoising steps와 CFG scale=6.0을 사용한다.

메인 벤치마크(ViViD): 표 1의 수치 기준으로 TryOnCrafter는 paired 및 unpaired 설정에서 최저 VFID를 달성했다. 주요 수치: VFID_I^p=9.6085, VFID_R^p=0.1817, VFID_I^u=10.7563, VFID_R^u=0.2088, SSIM=0.8675, LPIPS=0.0567. 이는 기존 최상위 방법들(CatV2TON, Magic-Tryon, DreamVVT 등)보다 전반적 영상 충실도와 지각적 유사도에서 우수함을 의미한다.

CaM-VVTBench 평가: 표 3 기준으로 TryOnCrafter는 Overall Score=75.47, Subject Consistency=92.71, Imaging Quality=74.28을 기록해 두-단계(try-on + trajectory) 결합 방식들을 능가했다. 두-단계 조합은 카메라 조작에서 구조적 붕괴와 텍스처 누락이 증가했으나 TryOnCrafter는 프록시 기반 제약으로 이 문제를 완화했다.

Ablation 결과: 렌더된 비디오(𝒱_render)를 제거하면 VFID 지표가 크게 악화(VFID 상승)되어 명시적 기하학 anchoring이 구조적 무결성 유지에 필수적임이 드러났다. 또한 CRA와 garment/text semantics를 제거한 경우 cross-view ID 보존 및 언페어드 일반화 성능이 저하되었다.

정성적 비교: Fig.4 및 추가 그림에서 TryOnCrafter는 복잡한 실외 환경과 긴 의상(예: 바지, 루즈 드레스)에서 텍스처 보존 및 실루엣 복원이 우수하며, 기존 방법들은 극단적 카메라 회전에서 의상 왜곡·단절 현상을 보였다.

전체 아키텍처 구조: TryOnCrafter는 (1) 4D Try-on Proxy Construction 모듈과 (2) Proxy-Anchored Video DiT 모듈로 구성된다. 4D 프록시는 포인트 클라우드 기반 배경 P^b, 앵커 정렬된 SMPL-X 시퀀스, 그리고 canonical 3DGS avatar G_c의 조합으로 만들어진다. Proxy는 hybrid renderer를 통해 픽셀-정렬된 렌더 비디오 V_render를 출력하고, 이 V_render가 DiT의 주요 구조적 prior로 작동한다.

CRA의 알고리즘적/수학적 기반: DiT의 각 블록에서 참조 신호를 주입하기 위해 CRA는 다음 연산을 수행한다. 입력 feature F_i(메인 블록)와 reference feature F_l가 주어지면, F_i의 stop-gradient(sg)된 값에 대해 W_Q'를 적용하고 F_l에 W_K,W_V를 적용한다. 연산 순서 — [입력: F_i, F_l, projection weights W_Q', W_K, W_V, W_O'] → [연산: A = Softmax((sg(F_i)W_Q')(F_l W_K)^T / sqrt(d)); O_l' = A (F_l W_V) · W_O'] → [결과: 참조 잔차 O_l'] → [의미: DiT의 표준 Attn 출력에 additive residual로 합쳐져 cross-view identity와 배경 디테일을 보강]. 이때 K/V는 backbone과 weight-sharing, Q'/O'는 독립 학습으로 설계되어 사전학습된 generative prior를 크게 훼손하지 않으면서도 참조 신호를 주입한다.

3DGS 아바타·LBS·렌더링: canonical 3DGS avatar는 Gaussian primitive들로 구성되며 각 primitive는 (x_i, Σ_i, σ_i, c_i)를 가진다. LBS에서는 skinning weights w_j를 인접 SMPL-X 정점으로부터 쿼리하고 변환 행렬 T_j,R'_j로 primitive를 변형한다: x = T(∑_j w_j T_j x_c), Σ = R(∑_j w_j R'_j Σ_c R'_j^T) R^T. 변형된 primitive는 3DGS rasterizer로 렌더되고 배경 포인트 클라우드는 point-based renderer로 처리되어 합성용 prior 영상을 생성한다.

학습·추론 세부: 모델은 Wan2.1-I2V-14B 기반으로 progressive two-stage training을 수행했다. 학습은 16 NVIDIA A100(80GB)에서 진행되었고, 추론 시 20 denoising steps 및 CFG scale=6.0을 사용했다. 손실 함수는 표준 diffusion objective(노이즈 예측) 외에 픽셀-정렬된 prior와의 동기화를 위한 조건부 구성요소를 포함한다(세부 값은 Supplementary Material).

논문에 명시된 제한 사항만 기술한다. (1) 극단적 시점 전환에서의 parallax와 SMPL-X 추정 부정확성으로 인해 손·사지 등 일부 관절의 정렬 오류 및 미세 기하학 불일치가 발생한다. (2) DiT 기반 반복적 denoising 과정으로 인한 높은 추론 비용으로 실시간 인터랙션에는 부적합하다.