메타의 DINO: 라벨 없이 스스로 학습하는 비전 모델의 원리

• •라벨 없이 이미지 데이터만으로 Pre-train 수행
• •방대한 미분류 데이터를 활용해 이미지의 일반적 규칙 학습
• •Fine-tuning 시 Supervised Learning보다 우수한 성능 발휘

Self-Supervised Learning은 데이터 자체에서 정답을 찾아 학습하는 방식으로, 라벨링 비용을 획기적으로 줄여준다.

• •라벨 부재 시 모델 출력 벡터의 기준점 설정 불가
• •동일 범주 이미지에 대한 일관된 학습 목표 설정의 어려움
• •학습 프로세스 설계를 위한 새로운 메커니즘의 필요성

• •Teacher 모델의 출력을 정답으로 삼는 Distillation 적용
• •Student 모델의 가중치를 EMA로 처리하여 Teacher 모델 생성
• •EMA 모델이 원본보다 더 높은 성능을 내는 특성을 학습에 활용

Distillation은 지식 증류라고도 하며, 큰 모델의 지식을 작은 모델에 전달하는 기법이다.

• •Student와 Teacher(EMA) 간의 상호 피드백 루프 형성
• •라벨 없이 스스로 정답을 만들어가는 자가 학습 구조
• •반복적인 Iteration을 통한 모델 지능의 점진적 향상

• •모든 입력에 동일 출력을 내는 Collapse 위험성 존재
• •데이터의 의미 구조 학습 대신 Loss만 줄이려는 요행 발생
• •Centering과 Sharpening 기법을 통한 Collapse 방지

Collapse는 SSL 학습 시 모델이 의미 있는 특징을 배우지 않고 편법으로 오차만 줄이려는 상태를 말한다.