FIT: 적합도 인지 가상 시착을 위한 대규모 데이터셋

기존 가상 시착 기술은 옷이 몸에 잘 맞는 경우만 주로 다루었으나, 이 논문은 옷이 너무 크거나 작은 '부적합(ill-fit)' 상황까지 정확히 묘사할 수 있는 대규모 데이터셋과 모델을 제시한다. 3D 물리 시뮬레이션과 실사 합성 기술을 결합하여 온라인 쇼핑 시 실제 착용감을 예측하는 데 큰 도움을 준다.

기존의 가상 시착(VTO) 모델은 주로 이미지의 픽셀 정보를 전이하는 방식에 집중하여, 옷이 사람의 체형에 비해 너무 크거나 작을 때 발생하는 물리적 변화를 제대로 표현하지 못했다. 이는 '옷이 내 몸에 어떻게 맞을까'라는 근본적인 질문에 답하기 어렵게 만든다.

이 문제를 해결하기 위해 연구팀은 3D 물리 시뮬레이션에서 얻은 기하학적 정보를 딥러닝 모델의 가이드로 삼았다. 먼저 GarmentCode를 통해 다양한 크기의 3D 옷을 만들고 이를 가상 신체에 입혀 주름과 처짐을 계산한다. 이 과정에서 얻은 노멀 맵(Normal Map)은 옷의 입체적 구조를 담고 있으며, 이를 확산 모델(Diffusion Model)의 조건으로 입력하여 실사 이미지를 생성한다.

결과적으로 모델은 단순히 옷의 무늬를 입히는 것을 넘어, 수치화된 치수 데이터를 바탕으로 옷이 몸에 끼거나 헐렁한 상태를 픽셀 단위로 정교하게 재구성한다. 이는 가상 시착 기술이 단순한 시각화를 넘어 실제 사이즈 추천 도구로 진화할 수 있음을 의미한다.

전체 시스템은 3D 시뮬레이션과 2D 실사 합성의 결합으로 구성된다. 먼저 GarmentCode를 사용하여 2D 패턴 기반의 3D 의류를 생성하고, Warp 물리 엔진을 통해 다양한 체형의 3D 모델에 드레이핑한다. 이때 서로 다른 사이즈의 옷을 입히는 '교차 드레이핑(Cross-draping)' 전략을 사용하여 꽉 끼거나 헐렁한 시나리오를 생성한다.

핵심 메커니즘인 재질 합성(Re-texturing)은 Flux.1-dev 모델을 기반으로 한다. 시뮬레이션된 3D 렌더링 이미지에서 추출한 노멀 맵 I_n과 의류 설명을 담은 텍스트 p를 입력으로 받아 실사 이미지 I_try-on을 생성한다. [노멀 맵 → 확산 모델 연산 → 실사 이미지] 과정을 통해 기하학적 구조는 유지하면서 실사 텍스처를 입힌다.

학습을 위해 동일 인물이 다른 옷을 입은 '쌍을 이룬 데이터(Paired data)'를 생성하는 기법을 도입했다. 정체성 맵(Identity Map) I_id를 사용하여 배경과 피부 정보를 보존하면서 의류 영역만 교체하는 인페인팅 모델 f_paired를 학습시켜 지도 학습이 가능한 환경을 구축했다.

FIT 데이터셋으로 학습된 Fit-VTO 모델은 기존 SOTA 모델인 IDM-VTON, Any2AnyTryon 등과 비교했을 때 의류 적합도 묘사에서 압도적인 성능을 보였다. 특히 FIT 데이터셋의 IoU(Intersection-over-Union) 지표에서 0.955를 기록하여, 치수 정보를 반영하지 못하는 기존 모델들(0.78~0.79 수준)보다 훨씬 정확한 형태를 생성했다.

실제 사람 이미지에 대한 일반화 성능 실험에서도 수치 데이터 없이 텍스트 설명만으로도 자연스러운 시착 결과를 생성했다. Ablation study 결과, 수치 데이터를 직접 임베딩하여 모델에 주입하는 방식이 기존의 T5나 CLIP 텍스트 인코더를 사용하는 것보다 정밀한 사이즈 조절에 훨씬 효과적임이 증명됐다.

Fit-VTO 아키텍처는 120억 개의 파라미터를 가진 Flux.1-dev를 기반으로 하며, LoRA를 통해 효율적으로 파인튜닝되었다. 기존의 T5 텍스트 인코더를 제거하고, 신체 및 의류 치수 7개를 입력받는 커스텀 측정 인코더(Measurement Encoder)를 도입했다.

측정 인코더는 입력된 수치 벡터 m을 8개의 푸리에 주파수 대역을 가진 Fourier Feature Embedding으로 변환한 후 MLP를 거쳐 3072 차원의 히든 벡터로 투영한다. 이 벡터는 MMDiT(Multi-modal Diffusion Transformer) 블록 내에서 교차 어텐션(Cross-attention)을 통해 이미지 생성 과정을 제어한다.

데이터셋 구축 시 도메인 갭을 줄이기 위해 '복합 정제 전략(Composite refinement strategy)'을 사용했다. 시뮬레이션 데이터의 단조로운 얼굴과 발 부분을 VLM을 이용해 실사로 인페인팅한 후 노멀 맵을 다시 추출하여 학습에 사용함으로써 모델이 실사 이미지의 세부 사항을 학습하도록 유도했다.

매우 꽉 끼는 옷의 경우 시뮬레이션 상에서 피부에 밀착된 모습이 실제 착용 시의 압박감이나 질감 변화를 완벽하게 표현하지 못하는 한계가 있다. 또한 의류의 너비가 증가하면 길이도 함께 늘어나는 등 치수 간의 상관관계로 인해 특정 치수 하나만 독립적으로 조절하는 데 어려움이 있을 수 있다.