ZooClaw-FashionSigLIP2: 증류 기반 파인튜닝으로 강화한 패션 검색

왜 중요한가

패션 검색은 짧은 키워드 검색과 긴 속성 기반 설명을 동시에 만족해야 하는 실무 요구가 존재한다. 범용 VLE(vision-language encoder)는 제로샷에서는 강하지만 패션의 미세한 시각·문자적 차이를 포착하지 못하여 도메인 특화 파인튜닝을 필요로 한다. 이 논문은 전수 파인튜닝과 지식 증류를 결합한 뒤 WiSE-FT로 가중치 보간을 수행하여 도메인 성능을 높이면서도 OOD 일반화를 보존하는 실용적 운영점을 확보한 점에서 생산계 적용 관점의 중요성을 가진다.

핵심 기여

전수 파인튜닝 + 지식 증류 + WiSE-FT 보간이라는 실용적 레시피

논문은 SigLIP2-base를 대상으로 full fine-tuning과 이미지 인코더에 대한 Learning without Forgetting(LwF) 정규화를 결합하여 도메인 특화 표현을 학습했다. 그 후 베이스와 파인튜닝 체크포인트 사이를 선형 보간하는 WiSE-FT를 적용하여 in-domain 성능과 OOD 성능 사이의 균형을 조정했다. 이 파이프라인은 다양한 ablation에서 LoRA, 백본 확장, 외부 데이터 추가보다 일관되게 우수한 성능을 보였다.

ZooClaw-Fashion이라는 고품질 평가셋과 Fashion200k의 그라운드트루스 재평가

연구팀은 자체 카탈로그에서 생성한 ZooClaw-Fashion 평가셋을 공개하고, 기존 Fashion200k의 캡션-소스 편향을 지적하며 TREC 스타일의 pooled re-evaluation을 수행했다. 풀드 판정에는 Gemma-4-31B를 사용해 1–5 등급으로 재주석을 만들었고, 이에 따라 기존 qrels가 유리하게 평가하던 모델 순위가 교정되었다. 이 절차는 benchmark 품질 문제를 드러내고 공정한 비교를 가능하게 했다.

LoRA 대비 full fine-tuning의 실험적 우위와 백본 확장의 한계 규명

다양한 LoRA 설정과 rank 그리드 서치를 수행한 결과 어떤 LoRA 구성도 full fine-tuning을 능가하지 못했다. 논문은 LoRA의 저순위 제약이 대조 학습에서 임베딩 군집화를 초래하여 표현 보존에 불리하다고 분석했다. 또한 SigLIP2 계열의 규모 확장은 in-domain 성능을 일부 향상시켰으나 Fashion200k OOD 성능에는 일관된 개선을 제공하지 못해 단순 확장이 해결책이 아님을 보였다.

모델 가중치 공개와 평가 아티팩트의 오픈소스 배포

연구팀은 srpone/zooclaw-fashionsiglip2로 HuggingFace에 모델 가중치를 공개했고 ZooClaw-Fashion 평가셋과 Fashion200k pooled qrels를 공개했다. 평가 파이프라인과 사용 노트는 LookBench 저장소를 통해 재현 가능하게 배포되었다. 이 공개는 후속 연구자가 동일한 평가 환경에서 비교 연구를 수행할 수 있는 기반을 제공한다.

핵심 아이디어 이해하기

패션 이미지-텍스트 검색 문제는 이미지와 텍스트를 동일한 d 차원 임베딩 공간으로 매핑한 뒤 유사도 기반 검색을 수행하는 문제로 수식화된다. 기존 범용 VLE는 제로샷 임베딩으로 강력한 일반화 능력을 보이나 옷의 넥라인, 소재 질감, 스타일 같은 세밀한 차이를 포착하는 데 한계가 있어 도메인 특화 파인튜닝이 필요하다. 파인튜닝은 타깃 분포에서 성능을 크게 올리지만 사전학습 표현에서 멀어지며 OOD 일반화를 저하시킬 위험이 존재한다.

방법론

연구는 세 단계 접근법을 사용했다. 첫째, multi-task contrastive training을 통해 short-query와 long-query 두 스타일의 대조 학습 손실을 동시에 최적화했으며 Generalized Contrastive Loss(GCL)를 채택하여 등급화된 관련도를 손실에 반영했다. 둘째, 이미지 인코더에 대해 Learning without Forgetting(LwF)을 적용하여 학생 임베딩과 고정된 베이스 임베딩 간 코사인 거리를 최소화하는 정규화 항을 추가했고 이 항의 가중치 λ_LwF는 실험적으로 1.0으로 설정되었다. 셋째, 최종 모델은 베이스 체크포인트 θ0와 파인튜닝 체크포인트 θft 사이를 선형 보간하는 WiSE-FT를 적용하여 θα=(1−α)θ0+αθft 형태로 구성했고 α를 {0.0,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,1.0}로 스윕하여 운영점을 선택했다.

주요 결과

주요 비교에서 ZooClaw-FashionSigLIP2는 모든 벤치마크 지표에서 최상위를 기록했다. ZooClaw-Fashion long-query에서 R@1/R@10은 0.449/0.795이며 MRR는 0.567로 보고되었고 pooled Fashion200k에서는 R@1/R@10이 0.423/0.738과 MRR 0.533을 달성했다. H&M 단기 쿼리 평가에서도 R@10=0.286과 MRR=0.925로 다른 기준 모델들을 앞섰고, pooled re-evaluation을 통해 Fashion200k의 기존 랭킹이 교정되어 본 접근법의 우위가 확인되었다.

기술 상세

전체 아키텍처는 SigLIP2-base-patch16-384를 이미지 인코더로 사용하고 텍스트는 최대 64 토큰을 처리하도록 구성되었다. 임베딩 차원 d는 원문이 명시한 VLE 표준을 따르며 이미지 해상도는 384×384였다. 대조 학습에는 Generalized Contrastive Loss를 사용했고 텍스트-이미지 쌍의 graded relevance r_i∈[0,1]을 w_ij=1−r_j·𝟙[i≠j]로 가중하여 배치 내 거짓 음수의 영향을 줄였다. 학습 하이퍼파라미터로는 효과적 배치 크기 1024, vision encoder 학습률 2×10^{-5,} text encoder 학습률 2×10^{-6,} AdamW 옵티마이저, weight decay 0.01, 500 warmup step, cosine annealing을 사용했다.

한계점

학습 데이터는 상업용 카탈로그에서 파생된 사유 데이터셋(zc-train-s/m/l)으로 공개되지 않아 동일한 대규모 데이터 구성으로 재현하기 어렵다. 공개된 Fashion200k의 원래 qrels가 캡션-소스 바이어스를 포함하여 원본 qrels로만 평가하면 특정 모델들이 유리하게 평가될 가능성이 있음을 논문에서 지적했다. 또한 백본 규모 확장은 in-domain 성능을 일부 개선했지만 pooled Fashion200k OOD 성능에 대해 일관된 이득을 보이지 않아 단순한 파라미터 확장이 OOD 개선의 만능책이 아님이 명시되었다.

실무 활용

ZooClaw-FashionSigLIP2는 상용 패션 검색 시스템에서 short keyword 검색과 long attribute 기반 검색을 동시에 개선할 수 있는 실무적 솔루션을 제공한다. 모델 가중치와 평가셋이 공개되어 있어 연구자가 동일한 평가 파이프라인으로 재현하고 운영점 α를 조정해 도메인·OOD 균형을 제어할 수 있다. 학습 데이터는 사유이므로 훈련 파이프라인은 공개 체크포인트와 공개 평가셋을 이용한 파인튜닝이나 재현 실험에 적합하다.

전자상거래 검색에서 사용자 짧은 키워드 쿼리와 카탈로그 속성 기반 상세 검색을 동일 모델로 처리하여 검색 품질을 높이는 용도
패션 추천 시스템에서 이미지-텍스트 매칭을 개선하여 시각적으로 유사한 제품을 더 정확하게 찾아주는 용도
연구 환경에서 벤치마크의 그라운드트루스 편향을 검사하고 pooled re-evaluation 파이프라인을 활용해 공정한 비교를 수행하는 용도

코드 공개 여부: 공개

코드 저장소 보기

키워드

vision-language encoder(비전-언어 인코더)SigLIP2(SigLIP2)WiSE-FT(가중치 보간)LoRA(저순위 어댑터)Generalized Contrastive Loss(GCL)

용어 해설

일반화된 대조 손실(Generalized Contrastive Loss (GCL)): — 이미지-텍스트 쌍의 등급화된 관련도(relevance)를 손실 함수에 직접 반영하는 대조 학습 손실이다. 배치 내 음수 샘플에 대해 각 항목의 관련도 점수를 가중치로 사용하여 거짓 음수(false negative)의 영향을 줄인다. 이 논문에서는 short/long query 멀티태스크 대조 학습의 핵심 손실로 사용되어 세밀한 패션 관련도 신호를 학습하는 데 기여했다.
망각 방지 학습(Learning without Forgetting (LwF)): — 기존의 사전학습된 모델 출력을 교사 신호로 사용하여 파인튜닝 중에 원래 표현을 보존하는 정규화 기법이다. 본문에서는 이미지 인코더에 대해 고정된 베이스 체크포인트와 학생 체크포인트 임베딩 간의 코사인 거리를 최소화하는 항으로 적용되었다. 이로 인해 도메인 특화 학습이 OOD 일반화 성능을 지나치게 손상하는 것을 완화했다.
가중치 보간 기반 OOD 보존(WiSE-FT): — 사전학습 체크포인트와 파인튜닝된 체크포인트 사이의 가중치 선형 보간을 통해 도메인 특화 성능과 OOD 성능 사이의 균형을 찾는 방법이다. θα=(1−α)θ0+αθft 형태의 단일 스칼라 α를 탐색하여 운영점을 선택한다. 이 논문에서는 α 스위프를 통해 α=0.4를 선택하여 두 성능을 동시에 개선하는 운영점을 확보했다.
모델 수프(가중치 평균)(Model Soup): — 훈련 경로상의 여러 체크포인트를 가중치 평균하거나 탐욕적 선택 방식으로 합성하여 단일 모델의 정확도를 높이는 기법이다. WiSE-FT와는 달리 경로상의 여러 지점을 평균하므로 도메인 편향으로 치우칠 위험이 있다. 본문에서는 greedy soup가 인-도메인 성능을 더 끌어올렸지만 Fashion200k OOD 성능은 떨어지는 사례로 제시되었다.
풀드 재평가(TREC 스타일)(Pooled Re-evaluation): — 여러 시스템이 반환한 상위 k 결과들을 합쳐 인간 또는 LLM 판정자에게 등급 기반 판단을 부여한 뒤 그 qrels로 다시 평가하는 절차이다. 단일 출처 기반의 편향된 원래 그라운드트루스를 교정하고 모델 간 공정 비교를 가능하게 한다. 본문에서는 Fashion200k에 대해 102,494개의 풀드 쌍을 Gemma-4-31B로 1–5 등급 평가하여 공정한 지표를 산출했다.

ZooClaw-FashionSigLIP2: 증류 기반 파인튜닝으로 강화한 패션 검색

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드