Tstars-Tryon 1.0: 다양한 패션 아이템을 위한 강건하고 리얼한 가상 피팅

가상 피팅은 실시간 피드백이 필요한 전자상거래 환경에서 사용자가 의류를 착용한 모습을 시각화하는 데 쓰인다. 기존 연구는 단일 아이템에 국한되거나 실세계 조건에서의Robustness/실감성 한계를 보였지만, 본 논문은 다중 입력 이미지와 8대 카테고리의 조합을 처리하고 near real-time 속도를 달성하는 상용급 파이프라인을 제시한다. Taobao App에서의 대규모 배포를 통해 실제 사용자 환경에서의 품질·효율성 개선을 입증한다.

출발점: 가상 피팅은 사용자의 사진에서 의상을 정확히 재현하고 다중 아이템/배경을 동시에 조합하는 것이 핵심이다. 이 논문은 일반적인 inpainting 기반 접근의 한계를 보완하기 위해 다-reference를 한 번에 처리하는 unified 모델(MMDiT)을 제시한다. 데이터 엔진과 학습 전략을 통해 고품질 다-item 데이터를 확보하고, 빠른 추론을 위한 CFG-distillation 기반의 경량화와 RL 보상으로 상용 환경에서의 안정성과 속도를 확보한다. 실험적으로 Single-Garment에서 3.92초, Multi-Garment에서 6.74초를 달성했고, VITON-HD/DressCode에서 SOTA에 근접하거나 우수한 일반화 능력을 보인다. 또한 Taobao App에서 실운영을 통해 대규모 배포의 실용성을 입증한다.

단락 1. 전체 접근 방식과 핵심 아이디어: 가상 피팅을 이미지 편집의 특수한 하위 문제로 재정의하고, 다중 reference 이미지를 동시에 처리하는 unified DiT 기반 아키텍처를 채택한다. 단락 2. 핵심 메커니즘: 다중 reference 입력을 조합하여 전체 의상 합성을 수행하는 멀티-참조 편집, 데이터 병렬성 및 텐서 병렬성, Data Packing 전략을 통해 계산 효율을 확보한다. 단락 3. 학습 전략: Stage 1-3의 데이터 수집/정제/매칭 파이프라인, Task-balanced/Content-balanced pre-training, progressive-resolution training, 고품질 SFT, RL with multi-reward, DiffusionNFT를 통한 CFG-free 추론으로 성능과 안정성을 높인다. 단락 4. 구현 세부: 5B 파라미터 DiT로 추론 최적화, CFG distillation, Step Distillation, 데이터-편집 데이터의 VLM 기반 필터링 및 페이스 스와핑으로 프라이버시를 보호한다.

단락 1. 메인 벤치마크: Table 1에서 Single-Garment의 Overall 점수 9.372, Identity Consistency 9.889, Garment Fidelity 8.833, Backgr. Preserv. 9.863, Phys.& Struc. Logic 9.241를 달성하였다. Table 2의 Multi-Garment에서 Overall 9.171, Identity 9.619, Garment Fidelity 8.955, Backgr. Preserv. 9.620, Phys. & Struc. Logic 8.883이다. 단락 2. 벤치마크 비교: VITON-HD에서 FID 8.485, KID 0.528, DressCode에서 FID 4.541, KID 0.458이다. 단락 3. 인간 평가: Nano Banana Pro, Seedream5 lite, GPT-Image-2 대비 Tstars-Tryon 1.0의 우수성은 1.5배 이상 차이가 나타나며 5개 아이템 이상에서 차이가 더욱 커진다. 단락 4. 속도/효율성: 3.92s(단일 가먼트), 6.74s(다중 가먼트)로, 비공개 대비 API 호출에 의한 네트워크 레이턴시를 배제한 수치다.

단락 1: 아키텍처 구조는 MMDiT 기반으로, 다수의 reference 이미지를 동시에 처리하는 멀티-레이어 입력-출력 파이프라인으로 구성된다. 단락 2: 핵심 수학적/알고리즘 기초 기반으로는 Diffusion Transformer의 확률적 샘플링과 컨디셔널 제어를 통해 다중 아이템의 위치-형태-질감을 조정한다. 단락 3: Prior work 대비 차별점은 8개 카테고리와 1-6 아이템의 레이어링을 단일 프레임에서 처리하고, unpaired 설정과 프라이버시 보호를 포함한다. 단락 4: 구현 및 학습 세부사항으로는 5B 파라미터 DiT, Data Parallelism, Tensor Parallelism, Data Packing, SFT/ RL(DiffusionNFT) 기반의 학습 전략, CFG-free 추론을 위한 distillation 기법이 제시된다.