챕터별 상세
00:00
솔루션 개요 및 학습 도구
경진대회 1위 팀인 cuilab.ai의 Shihao Shao가 솔루션을 발표했다. 학습에는 PyTorch 프레임워크를 사용했으며 외부 패키지 없이 직접 작성한 파이프라인을 활용했다. 전체 학습 시간은 10일 이상 소요되었으며 멀티 스테이지 학습과 다양한 트릭을 적용했다.
04:40
그리디 방식의 데이터셋 선택 전략
범용 임베딩을 위해 다양한 도메인의 데이터셋을 수집하고 성능 향상에 기여하는 데이터만 선별했다. 새로운 데이터셋을 추가했을 때 정확도가 상승하는지 확인하는 루틴을 반복하여 최종 데이터셋 리스트를 확정했다. Products-10K, Shopee, Alibaba Goods 등 커머스 데이터와 예술품 데이터가 포함되었다.
범용 임베딩 모델은 특정 도메인에 편향되지 않도록 다양한 성격의 데이터를 균형 있게 학습하는 것이 중요하다.
python
Algorithm 1 Datasets Selection Paradigms
Input: Current training datasets D_train, Training procedure T, Model M
1: ACC_best = 0
2: M_acc_cost = T(M, D_train)
3: while not Datasets_Searching.End() do
4: Found_New_Datasets = Datasets_Searching()
5: if Found_New_Datasets then
6: M_temp_ACC = T(M, B + Found_New_Datasets)
7: if M_temp_ACC > ACC_best then
8: ACC_best = M_temp_ACC
9: D_train.push(Found_New_Datasets)
10: return D_train성능 향상에 기여하는 데이터셋을 탐색하고 선택하는 그리디(Greedy) 방식의 알고리즘 의사코드
06:40
학습 설정 및 하이퍼파라미터 최적화
최적화 도구로 모멘텀 0.9를 적용한 SGD를 사용했다. 일반화 성능을 높이기 위해 Adam보다 SGD가 유리하다는 실험 결과를 바탕으로 선택했다. 미니 배치 사이즈는 Fully-connected 레이어에 1024, 백본에는 256을 적용했으며 학습률 스케줄러를 통해 단계적으로 감소시켰다.
08:50
15단계 멀티 스테이지 학습 파이프라인
학습 과정을 총 15단계로 나누어 정교하게 제어했다. 초기에는 백본을 고정하고 마지막 레이어만 학습하여 사전 학습된 가중치를 보존했다. 이후 점진적으로 백본을 해제하고 이미지 해상도를 224에서 280, 290으로 높이며 학습을 진행했다. ArcFace의 마진(m) 값을 후반부에 0.5에서 0.55로 높여 클래스 간 변별력을 강화했다.
멀티 스테이지 학습은 모델이 급격하게 무너지는 것을 방지하고 단계적으로 복잡한 특징을 학습하게 한다.
15:40
임베딩 앙상블의 문제점: 공간 왜곡
서로 다른 모델의 임베딩을 단순 평균 내어 앙상블할 경우 성능이 오히려 하락하는 현상을 발견했다. 이는 각 모델이 생성하는 임베딩 공간의 중심(Central Embedding)이 서로 정렬되어 있지 않기 때문이다. 벡터 공간이 일치하지 않은 상태에서 평균을 내면 특징 공간이 왜곡되어 변별력이 사라진다.
20:10
임베딩 공간 정렬을 위한 두 가지 접근법
공간 왜곡을 방지하기 위해 두 가지 방법을 제안했다. 첫 번째는 하이퍼파라미터만 바꿔 학습하되 마지막 레이어(FC)를 고정하여 모든 모델이 동일한 중심을 갖게 하는 방식이다. 두 번째는 선형 레이어(Linear Layer)를 추가하여 서로 다른 모델의 임베딩 공간을 하나로 매핑하는 방식이다. 실험 결과 첫 번째 방식이 더 안정적인 성능 향상을 보였다.
임베딩 공간 정렬은 서로 다른 모델이 동일한 '언어'로 특징을 표현하게 만드는 과정과 같다.
용어 해설
- 범용 이미지 임베딩(Universal Image Embedding)
- — 의류, 랜드마크, 예술품 등 서로 다른 도메인의 이미지를 하나의 공통된 벡터 공간에 표현하는 기술이다. 특정 도메인에 특화된 모델과 달리 다양한 객체 간의 유사성을 동시에 파악할 수 있어 광범위한 이미지 검색 시스템 구축에 필수적이다.
- 아크페이스(ArcFace)
- — 클래스 간의 변별력을 높이기 위해 각도 마진(Angular Margin)을 사용하는 손실 함수이다. 특징 벡터와 가중치 사이의 각도를 직접 최적화하여 동일 클래스 내 응집도와 클래스 간 분리도를 극대화하며, 주로 대규모 이미지 검색 및 인식 작업에 사용된다.
- 모델 수프(Model Soup)
- — 서로 다른 하이퍼파라미터로 학습된 동일 아키텍처 모델들의 가중치를 평균 내어 성능을 향상시키는 기법이다. 추가적인 추론 비용 없이 앙상블 효과를 얻을 수 있으며, 모델의 일반화 성능을 높이는 데 효과적이다.
- 임베딩 공간 정렬(Embedding Space Alignment)
- — 서로 다른 모델이나 학습 단계에서 생성된 벡터 공간의 방향성을 일치시키는 과정이다. 앙상블 시 각 모델이 생성하는 임베딩의 기준이 다르면 성능이 저하되므로, 이를 정렬하여 벡터 연산의 일관성을 확보하는 것이 중요하다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 02. 25.수집 2026. 02. 25.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.