Google 범용 이미지 임베딩 경진대회 1위 솔루션 발표

• •PyTorch 기반의 독자적인 학습 파이프라인 구축
• •10일 이상의 긴 학습 시간을 통한 모델 최적화
• •멀티 스테이지 학습 전략 채택

• •정확도 향상 여부에 기반한 그리디 데이터셋 선택 알고리즘 적용
• •Products-10K 데이터셋이 성능 향상에 가장 큰 기여를 함 확인
• •커머스, 예술품, 랜드마크 등 이종 도메인 데이터 통합

범용 임베딩 모델은 특정 도메인에 편향되지 않도록 다양한 성격의 데이터를 균형 있게 학습하는 것이 중요하다.

Algorithm 1 Datasets Selection Paradigms
Input: Current training datasets D_train, Training procedure T, Model M
1: ACC_best = 0
2: M_acc_cost = T(M, D_train)
3: while not Datasets_Searching.End() do
4:     Found_New_Datasets = Datasets_Searching()
5:     if Found_New_Datasets then
6:         M_temp_ACC = T(M, B + Found_New_Datasets)
7:         if M_temp_ACC > ACC_best then
8:             ACC_best = M_temp_ACC
9:             D_train.push(Found_New_Datasets)
10: return D_train

• •일반화 성능 극대화를 위해 Adam 대신 SGD 옵티마이저 선택
• •백본과 FC 레이어에 서로 다른 배치 사이즈와 학습률 적용
• •시간 비용과 성능 사이의 트레이드오프를 고려한 배치 사이즈 설정

• •백본 고정 후 레이어별 점진적 해제 학습 전략
• •학습 단계에 따른 이미지 해상도 상향 및 오버래핑 패치 적용
• •ArcFace 마진 값을 동적으로 조정하여 클래스 분리도 최적화

멀티 스테이지 학습은 모델이 급격하게 무너지는 것을 방지하고 단계적으로 복잡한 특징을 학습하게 한다.

• •단순 임베딩 평균 시 발생하는 특징 공간 왜곡 현상 분석
• •모델별 임베딩 공간의 불일치가 앙상블 성능 저하의 원인임 규명
• •임베딩 공간 정렬의 필요성 제시

• •마지막 레이어 고정을 통한 모델 간 임베딩 공간 강제 일치 기법
• •선형 변환 레이어를 이용한 사후 임베딩 공간 정렬 시도
• •정렬된 임베딩을 활용한 앙상블로 단일 모델 대비 유의미한 성능 향상 달성

임베딩 공간 정렬은 서로 다른 모델이 동일한 '언어'로 특징을 표현하게 만드는 과정과 같다.