CtrlVTON: VIP-SAM 기반 마스크 제어형 가상 피팅 프레임워크

왜 중요한가

온라인 패션에서 고객이 원하는 의상 착용 방식은 크기, 스타일, 배치와 같은 세부 제어가 필요하나 기존 VTO는 이러한 세부 조작을 제공하지 못했다. 본 연구는 평면 촬영 의상을 참조로 동일한 인스턴스를 인물 사진에서 정확히 분할하는 VIP-Seg 과업을 규정하고 이를 해결하는 VIP-SAM을 제시했다. 그 결과 인스턴스 마스크를 학습 데이터와 추론 파이프라인에 적용해 마스크 기반 픽셀 제어가 가능한 CtrlVTON을 구현함으로써 사용자가 의상의 착용 방식과 위치를 정밀하게 조절할 수 있게 했다.

핵심 기여

VIP-Seg 과업 정의 및 VIP-SAM 모델 제안

특정 평면 촬영 의상을 시각적 프롬프트로 주어 인물 사진에서 동일 인스턴스를 분할하는 VIP-Seg을 정의했고, 쿼리 인코더 내부에 서포트 특징을 주입하는 VIP-SAM을 설계하여 인스턴스 수준 분별력을 확보했다. 모델은 ViT/Hiera 백본과 중간 단계의 cross-attention 어댑터로 구성되어 층층 착용·유사 텍스처 상황에서 성능이 향상되었다.

편집 기반 마스크 제어형 VTO 프레임워크 CtrlVTON

VTO를 이미지 인페인팅 대신 편집 문제로 재구성하고 전체 이미지 조건화와 마스크 조건화를 결합해 픽셀 단위 제어를 달성했다. 베이스 편집 모델은 사전학습된 DiT를 고정하고 LoRA 어댑터로 마스크 입력을 학습해 실시간 마스크 편집으로 스타일·핏·배치 조정이 가능하다.

합성 데이터 파이프라인과 VITON-HD-edit 벤치마크 공개

원본-참조-타깃(p, p_ref, g_ref) 삼중쌍을 합성하는 데이터 생성 절차를 도입했고, VIP-SAM으로 추출한 인스턴스 마스크를 학습에 활용했다. 이 파이프라인으로 VITON-HD-edit를 만들었으며 마스크 제어성과 인스턴스 분할을 동시에 평가할 수 있는 공개 테스트셋을 제공했다.

핵심 아이디어 이해하기

기존 참조 기반 분할 방법은 지원 이미지와 쿼리 이미지를 별도로 인코딩한 뒤 최종 마스크 디코더 수준에서 매칭하는 구조가 많아, 초기 인코딩 단계에서 동일 인스턴스 정보를 반영하지 못하면 층층 착용이나 유사 색상의 교란에 취약했다. 본 논문은 서포트 이미지 특징을 쿼리 인코더의 중간 블록에 주입하여 쿼리의 표현 자체가 참조 인스턴스와 조건화되도록 설계함으로써 이 문제를 해결했다. 이로 인해 마스크 디코더가 아니라 쿼리 표현 단계에서 인스턴스 분별에 필요한 문맥 정보를 이미 반영하게 되어 어려운 케이스에서의 분할 정확도가 개선되었다.

방법론

전체 VTO 파이프라인은 세 단계로 구성된다. 첫째, VIP-SAM은 지원 이미지(평면 의상)와 쿼리 이미지(착용자)를 각각 인코딩하되 쿼리 인코더의 반복 블록들 사이에 cross-attention 어댑터를 삽입해 지원 특징을 주입하고, 최종적으로 학습된 마스크 디코더로 인스턴스 마스크를 생성한다. 둘째, CtrlVTON-base는 사전학습된 DiT 편집기를 고정 가중치로 사용하고 입력으로 참조 인물, 참조 의상, 태스크·의상 클래스 토큰을 받아 편집 결과를 생성하며, 이때 전체 이미지 조건화를 통해 신원·포즈·배경 정보를 유지한다. 셋째, 픽셀 단위 제어를 위해 마스크들을 VAE 잠재 공간에서 채널 단위로 결합하여 각 이미지의 잠재 z_X에 대응하는 z_{M_X}를 채널 결합([z_X ∥ z_{M_X}])으로 입력하고, 이 조건화를 학습 가능한 LoRA 어댑터로만 미세조정하여 마스크에 따른 위치·핏·스타일 제어를 구현했다.

주요 결과

VIP-SAM은 패션 도메인 및 재평가된 COCO/PASCAL 분할 기준에서 우수한 수치적 성능을 기록했다. 예컨대 VIP-SAM(Hiera-L, DINOv3-H)은 벤치마크에서 mIoU 96.6(97.8계열 표기) 수준을 달성해 기존 VRP-SAM 계열을 능가했다. CtrlVTON-base는 단일 의상 VTO에서 VITON-HD 상의 M-DINO 0.8054, OmniTry Bench에서 M-DINO 0.7282를 기록하며 인페인팅 기반 및 일부 편집 기반 대조군을 상회하거나 경쟁 수준을 유지했다. 마스크 제어성 평가에서는 VITON-HD-edit 기준으로 CtrlVTON이 IoU 0.961, d_Hu 0.0022, d_H 26.05를 달성하여 가장 근접한 공개/상용 편집 모델들(예: FLUX.2 IoU 0.873) 대비 공간 일치성이 크게 개선되었다.

기술 상세

아키텍처 전체는 두 축으로 구성된다: 인스턴스 분할을 담당하는 VIP-SAM과 이미지 편집·생성을 담당하는 CtrlVTON이다. VIP-SAM은 SAM/SAM2의 ViT 또는 Hiera 기반 쿼리 인코더를 재사용하되 각 블록 뒤에 교차-어텐션 어댑터를 삽입해 지원 이미지의 특징을 쿼리 표현에 주입하는 구조를 채택했고, 지원 인코더로는 ResNet-50, DINOv2/3 계열을 실험적으로 사용했다. CtrlVTON은 사전학습된 DiT를 고정하고 LoRA 어댑터로만 파라미터를 학습하여 마스크 조건화를 구현했으며, 입력 잠재의 채널 결합([z_X ∥ z_{M_X}]) 방식으로 마스크를 주입해 토큰 격자(H×W)는 유지하면서 채널 차원만 확장했다. 학습은 flow-matching 손실을 사용하여 속도장 예측을 최적화했고, 다중 의상 조건화를 위해 각 의상을 서로 다른 RGB 색상으로 인코딩해 채널 결합 방식으로 동시에 입력하도록 설계했다.

한계점

다중 의상에 대한 마스크 제어의 공개 벤치가 부재하여 다중 의상 제어 성능은 정성적 결과로만 보고되었다. 합성 참조 인물(p_ref)을 생성하기 위해 상용·비공개 편집 모델들을 사용한 점이 있어 동일한 공개 구성으로 완전 재현하려면 추가 작업이 필요하다. 또한 학습과 평가에서 삼중쌍(p, p_ref, g_ref) 생성 프로세스에 의존하므로 이 데이터 파이프라인 품질이 최종 편집 품질에 직접적인 영향을 미친다.

실무 활용

CtrlVTON은 전자상거래 및 스타일링 툴에서 사용자가 특정 착용 방식과 위치를 정확히 지정할 필요가 있는 사례에 적용 가능하다. 픽셀 단위 마스크 입력으로 단일 의상 교체, 부분 교체, 레이어링과 같은 편집 작업을 통합적으로 수행할 수 있다. VIP-SAM은 참조 기반 자동 마스크 추출을 가능하게 하여 대규모 데이터 파이프라인 자동화에 기여한다.

상품 상세 페이지 이미지에 올라온 평면 의상 이미지를 자동으로 인물 이미지에서 분할해 대규모 합성 데이터셋을 생성하는 작업
사용자가 마우스로 그리거나 편집한 마스크를 기반으로 의상 착용 방식(예: 셔츠를 속에 집어넣기, 소매 길이 조정)을 세밀하게 제어하는 인터랙티브 편집기
여러 의상을 색상별 마스크로 입력해 다중 의상 레이어링을 단일 모델로 처리하는 스타일 조합 툴

코드 공개 여부: 미확인

키워드

VIP-Seg(시각 인스턴스 프롬프트 분할)Mask-Conditioning(마스크 조건화)DiT(디퓨전 트랜스포머)LoRA(저순위 적응)VIP-SAM(인스턴스 분할 모델)

용어 해설

시각 인스턴스 프롬프트 분할(VIP-Seg): — 특정 평면 촬영(예: flatlay) 의상 이미지를 시각적 프롬프트로 주었을 때, 동일한 개체를 인물 사진에서 정확히 분할하는 과업이다. 이 과업은 범주 수준 분할과 달리 동일 범주 내에서 특정 인스턴스를 구별해야 하며, 층층 착용·부분 가려짐·비강체 변형 상황을 다루는 점이 핵심이다.
마스크 조건화(Mask-Conditioning): — 생성 모델의 입력으로 원본 이미지와 함께 해당 영역의 마스크를 잠재 표현 차원에서 결합하는 기법이다. 본문에서는 VAE 잠재의 채널 차원에 마스크 잠재를 채널 합쳐넣어(H×W 격자는 유지) 공간적 제어를 구현했다. 이렇게 하면 어텐션 비용 증가 없이 픽셀 단위 배치·핏 제어가 가능하다.
플로우 매칭(Flow-Matching): — 확률적 생성과정에서 시간별 잠재의 속도장(velocity field)을 학습하는 손실 프레임워크이다. 논문에서는 DiT 기반 편집 모델의 속도장을 고정 가중치 모델 위에 LoRA로 조정하여 목표 잠재와의 차이를 최소화하는 방식으로 학습을 진행했다. 이 방식은 표준 확산(denoising)과 유사한 목적을 갖되 속도장 예측을 직접 최적화한다.
LoRA(저순위 적응)(LoRA): — 기존 대형 모델의 일부 선형 투영에 저순위 보정 행렬만 학습해 파라미터 효율적으로 적응시키는 기법이다. 본문에서는 편집용 DiT의 블록에 LoRA 어댑터를 붙여 마스크 조건화를 학습하고 기본 가중치는 고정했다. 이로써 전체 모델을 재학습하지 않고도 공간 제어 능력을 추가할 수 있다.

CtrlVTON: VIP-SAM 기반 마스크 제어형 가상 피팅 프레임워크

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

이미지 세그멘테이션의 역사와 Segment Anything Model의 등장

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

이미지 세그멘테이션의 역사와 Segment Anything Model의 등장