FashionLens: Task-Adaptive Learning을 통한 다목적 패션 이미지 검색

패션 이미지 검색은 이미지/텍스트/비디오 등 다양한 입력 형식과 서로 다른 검색 의도를 포괄하는 다중 태스크 문제이다. 기존 방법은 태스크 간 간섭으로 임베딩 공간의 해석이 손상되며, 데이터 규모의 불균형으로 일부 태스크가 과소 최적화된다. FashionLens는 MLLM 백본, PGSQC, GGAS를 통해 태스크 간 상호작용으로 인한 성능 저하를 줄이고, unseen 태스크까지 일반화된 성능을 달성한다.

출발점은 다중 태스크 학습에서 태스크 간 의도 차이가 임베딩 공간에 음의 전달(negative transfer)을 유발하는 현상이다. FashionLens는 q0를 기반으로 의도-지향적 프로포절 qp를 도출하고, adaptive Slerp으로 q0를 qp로 회전시켜 태스크-aligned metric space로 조정한다. GGAS는 각 태스크의 학습 난이도를 실시간으로 측정해 gradient norms를 기준으로 샘플링 확률을 재조정하고, 데이터 규모를 보정해 데이터 불균형의 영향을 완화한다. 이 두 구성요소의 결합으로, 일반화 가능한 태스크-적응형 검색 성능이 달성된다.

아키텍처: MLLM 백본에 두 개의 학습 토큰 [RETq], [RETt]를 추가하고, 쿼리 q0과 타깃 t를 각각 얻어 q0, t를 unit hypersphere에 정규화한다. Loss 구성: Lret(InfoNCE) + β1Lortho + β2Lreg으로 최적화한다. 1) PGSQC: A∈R^{D×d}, B∈R^{d×D를 이용해 qp = Norm(q0 + q0AB)로 계산하고, q = Slerp(q0, qp, λ(q0))로 최종 쿼리 표현을 얻는다. 2) GGAS: L_k(t)에서 RETq/RETt의 gradient를 이용해 d^{(t)}_k를 계산하고 EMA로 G^{(t)}_k를 업데이트한다. S^{(t)}_k = exp(G^{(t)}_k/η + γ log N_k)로 샘플링 확률을 결정하고, 배치 단위로 상위 k^{*}를 샘플링한다. 3) 학습 세부: Qwen3-VL-4B를 백본으로 사용하고, LoRA rank=8, learning rate=1e-4, 5 에폭, 배치 64, GradCache 사용.

주요 벤치마크 결과에서 FashionLens는 대부분의 태스크에서 최상위를 차지했다. Task 10 Street+Modification Text→Shop에서 mR=66.27, Task 11 Image(s)+Text→Compatible Item에서 mR=77.70를 달성했고, Commonly Supported 평균은 51.24, All 데이터셋 평균은 52.21이다. Ablation 연구에서 GGAS 도입으로 기존 대비 큰 개선이 나타났고, Ours q(Slerp) GGAS에서 평균 mR=50.01을 기록했다. GGAS의 영향은 Table III의 #2에서 확인 가능하다.

아키텍처: MLLM 기반의 쿼리/타깃 인코딩, [RETq], [RETt] 토큰을 도입하고 q0, t를 구한다. qp는 q0 + q0AB를 Norm한 뒤, adaptive Slerp으로 q를 얻는다. A, B, λ은 q0에 condition된 MLP로 예측된다. 제약으로 A에 직교성 제약 Lortho와 Lreg(Frobenius) 제약을 적용한다. GGAS는 RET 토큰의 gradient를 이용해 각 태스크의 difficulty d^{(t)}_k를 계산하고 EMA로 G^{(t)}_k를 갱신한다. 샘플링 확률은 S^{(t)}_k = exp(G^{(t)}_k/η + γ log N_k)로 정의하고, P^{(t)}_k를 정규화한다. 배치 샘플링은 k^{*} = argmax P^{(t)}_k로 결정된다. 손실은 L = Lret + β1Lortho + β2Lreg.