챕터별 상세
DINO의 발상과 Self-Supervised Learning
DINO는 이미지 도메인의 Self-Supervised Learning 모델이다. 이미지와 라벨 쌍으로 학습하는 대신 이미지 자체만으로 학습을 진행한다. 이렇게 학습된 모델은 Fine-tuning 단계에서 라벨이 없는 방대한 데이터를 활용해 세상의 규칙을 먼저 학습한 뒤 특정 Task에 적용된다. 결과적으로 From Scratch 방식보다 더 높은 성능을 기대할 수 있다.
Self-Supervised Learning은 데이터 자체에서 정답을 찾아 학습하는 방식으로, 라벨링 비용을 획기적으로 줄여준다.
라벨 없는 학습의 구조적 난관
Supervised Learning에서는 모델 출력을 특정 라벨 값에 대응시켜 학습시킨다. 하지만 라벨이 없으면 모델이 출력한 벡터 값을 어떤 기준에 맞춰야 할지 정하기 어렵다. 동일한 종류의 이미지들에 대해 일관된 출력값을 내도록 유도해야 하는데, 기준점이 없으면 학습 설계 자체가 불가능해진다.
Distillation과 EMA의 결합
DINO는 Distillation과 EMA라는 두 가지 기법을 사용한다. Distillation은 Student 모델이 고수 모델인 Teacher 모델의 출력을 정답으로 믿고 따라가는 방식이다. 이때 Teacher 모델은 별도의 고정된 모델이 아니라 Student 모델의 가중치를 EMA로 업데이트한 자기 자신이다. EMA 모델은 학습 과정에서 원본 모델보다 더 안정적이고 뛰어난 성능을 보이는 특성을 가진다.
Distillation은 지식 증류라고도 하며, 큰 모델의 지식을 작은 모델에 전달하는 기법이다.
DINO의 자가 학습 프로세스
모델이 입력을 받아 출력을 내면, 그 답을 자신의 EMA 모델인 Teacher에게 전수받아 학습한다. Student 모델은 Teacher 모델을 쫓아가며 똑똑해지고, 동시에 Teacher 모델은 다시 Student의 발전된 상태를 반영해 더 고수가 된다. 이 과정이 반복되면서 모델은 라벨 없이도 스스로 성능을 개선해 나간다.
Collapse 현상과 방어 전략
이런 자가 학습 구조에서는 모델이 모든 입력에 대해 동일한 값만 출력하여 Loss를 줄이려는 요행인 Collapse 현상이 발생하기 쉽다. 서로 다른 이미지를 구별하지 못하고 고정된 값만 내뱉는 늪에 빠지는 것이다. DINO는 이를 방지하기 위해 Centering과 Sharpening이라는 추가적인 잡기술을 적용하여 성공적인 학습을 유도한다.
Collapse는 SSL 학습 시 모델이 의미 있는 특징을 배우지 않고 편법으로 오차만 줄이려는 상태를 말한다.
언급된 리소스
GitHubmanim-kor GitHub
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 01. 05.수집 2026. 02. 21.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
