FASH-iCNN: 멀티모달 CNN 프로빙을 통한 편집 패션 아이덴티티의 가시화

기존 패션 AI는 특정 브랜드나 시대의 미학적 논리를 사용자에게 알리지 않은 채 학습하여 불투명한 스타일 가이드를 제공해왔다. 이 논문은 의류 이미지에서 브랜드 정체성, 시대적 배경, 색상 전통을 추출하여 AI의 판단 근거를 투명하게 공개하는 시스템을 제안한다.

패션 디자인은 단순한 옷의 조합이 아니라 특정 패션 하우스의 미학적 결정과 시대적 맥락이 담긴 문화적 산물이다. 기존의 패션 추천 시스템은 사용자의 클릭 로그나 구매 이력 같은 행동 데이터에만 의존하여, 왜 특정 스타일이 추천되었는지에 대한 문화적 근거를 제시하지 못했다. FASH-iCNN은 의류의 시각적 특징 자체에 브랜드의 '문화적 지문'이 내재되어 있다는 가설에서 출발한다.

이 시스템은 의류 이미지를 고차원 벡터 공간에 매핑하는 Embedding 과정을 거치며, 이 공간 내에서 특정 브랜드나 시대가 형성하는 클러스터를 찾아낸다. 특히 색상 정보를 제거하거나 형태만 남기는 식의 시각적 추상화 단계를 거치며 어떤 채널이 브랜드 식별에 가장 기여하는지 분석한다. 이는 딥러닝 모델이 단순히 픽셀 값을 외우는 것이 아니라, 브랜드 고유의 질감 패턴이나 명암 대비와 같은 추상적 특징을 학습하고 있음을 의미한다.

결과적으로 모델은 단순한 분류를 넘어, 입력된 의류가 어떤 브랜드의 전통과 어떤 시대의 미학을 계승하고 있는지 설명할 수 있게 된다. 이는 AI의 블랙박스 내부에서 작동하는 미학적 논리를 사용자가 검증 가능한 형태로 시각화하여 제공하는 혁신적인 접근이다.

전체 시스템은 의류 이미지와 얼굴 이미지를 동시에 처리하는 멀티모달 아키텍처를 채택했다. SegFormer를 사용하여 이미지에서 의류 영역을 정밀하게 추출하고, 추출된 각 스트림은 ImageNet으로 사전 학습된 EfficientNet-B0 백본 네트워크를 통해 처리된다. 두 스트림에서 나온 1280차원의 특징 벡터는 결합되어 2560차원의 벡터가 되며, 이후 2개 층의 Fully Connected Head를 거쳐 최종 로짓을 생성한다.

색상 예측을 위해 BK(Berlin-Kay) → CSS → LAB로 이어지는 3단계 계층적 파이프라인을 사용한다. 먼저 9가지 기본 색상 범주를 예측하고[입력 이미지 → 분류 연산 → 색상 범주 출력], 해당 범주 내에서 더 세분화된 CSS 명명 색상을 결정한 뒤, 최종적으로 CIELAB 색 공간의 정밀한 좌표를 회귀 분석으로 도출한다. 이 방식은 단순 회귀 모델 대비 지각적 오차(Delta E00)를 15.0에서 9.10으로 39% 감소시킨다.

시각적 채널 분석을 위해 이미지를 Full color, Grayscale, Silhouette, Edge map의 네 가지 추상화 단계로 변환하여 학습시킨다. 각 단계별로 모델의 성능 변화를 측정함으로써 브랜드 정체성 신호가 어떤 시각적 요소에 집중되어 있는지 정량적으로 분석한다.

의류 이미지만으로 패션 하우스를 식별하는 정확도는 Top-1 기준 78.2%를 기록했으며, 10년 단위 시대 분류는 88.6%, 특정 연도 예측은 58.3%의 정확도를 보였다. 연도 예측의 평균 오차는 2.2년에 불과하여 의류 디자인에 시대적 특징이 매우 뚜렷하게 반영되어 있음을 확인했다.

시각적 채널 프로빙 결과, 색상 정보를 제거했을 때 브랜드 식별 정확도는 10.6%p 하락한 반면, 질감 정보를 제거했을 때는 37.6%p나 급락했다. 이는 패션 하우스의 정체성이 색상보다는 원단의 질감과 명암 구조에 더 강하게 각인되어 있음을 시사한다.

얼굴 이미지의 기여도는 의류 정보가 부족할 때 극대화되었다. 의류 정보가 풍부한 Full color 상태에서는 얼굴 추가 시 성능 향상이 미미했으나, 정보가 제한적인 Edge map 상태에서는 얼굴 정보를 결합했을 때 정확도가 20.5%p 상승하여 모델이 부족한 시각 신호를 보완하기 위해 모델 캐스팅 패턴 등의 맥락 정보를 활용함을 입증했다.

FASH-iCNN의 아키텍처는 EfficientNet-B0를 기반으로 하며, 멀티모달 융합을 위해 Late Fusion 전략을 사용한다. 의류 크롭과 얼굴 크롭이 각각 독립적인 백본을 통과한 후 특징 벡터 단계에서 결합된다. 학습 시에는 AdamW 옵티마이저와 Cross-entropy 손실 함수를 사용하며, 레이블 스무딩(0.1)과 혼합 정밀도 학습을 적용하여 일반화 성능을 높였다.

색상 예측 모델의 핵심은 제약 조건이 있는 회귀(Constrained Regression)이다. 무제한적인 LAB 좌표 예측 대신, 상위 계층에서 예측된 색상 범주의 중심점(Centroid)을 기준으로 예측 범위를 제한함으로써 수렴 속도와 정확도를 동시에 개선했다. 이는 패션 데이터셋의 높은 불균형(검은색/회색 지배적) 문제를 해결하기 위해 저채도 이미지를 필터링한 크로매틱 서브셋(약 24,500장)을 별도로 구성하여 실험한 결과이다.

본 연구는 서구 럭셔리 패션 중심의 Vogue 데이터셋에 국한되어 있어 비서구권이나 일반 기성복 패션으로의 일반화 가능성은 검증되지 않았다. 또한 브랜드 간의 교차 학습(Cross-house generalization)에 대한 분석이 부족하며, 얼굴 이미지 사용 시 발생할 수 있는 신원 유출 및 편향성 문제가 한계로 지적된다.