챕터별 상세
00:00
순방향 확산: 통제된 이미지 파괴 과정
DDPM의 시작은 생성 이전에 데이터를 파괴하는 과정인 순방향 확산(Forward Diffusion)이다. 실제 이미지에 가우시안 노이즈를 아주 조금씩 단계적으로 추가하여 이미지의 구조를 점진적으로 지우고 최종적으로는 완전한 무작위 노이즈로 변환한다. 이 과정은 학습이 필요 없는 고정된 수학적 규칙이며, 각 단계에서 추가되는 노이즈의 양은 설계자가 미리 결정한다. 결과적으로 모델이 나중에 복원해야 할 '정답 노이즈'를 생성하는 기준점이 된다.
순방향 과정은 결정론적이며, 모델이 학습해야 할 대상이 아니라 학습을 위한 데이터를 준비하는 단계이다.
21:30
노이즈 예측: 신경망의 핵심 임무
이미지를 직접 생성하는 것은 매우 어려운 문제이므로, DDPM은 신경망에 훨씬 단순하고 명확한 질문을 던진다. 모델은 노이즈가 섞인 이미지와 현재의 타임스텝을 입력받아 '이 이미지에 포함된 노이즈가 무엇인가'를 예측하도록 학습된다. 주로 UNet 아키텍처가 이 역할을 수행하며, 픽셀을 직접 생성하거나 환각을 일으키는 대신 오직 노이즈 성분만을 추론한다. 이를 통해 복잡한 이미지 생성 문제를 노이즈 제거라는 회귀 문제로 단순화한다.
모델은 깨끗한 이미지를 직접 만드는 것이 아니라, 현재 단계에서 제거해야 할 불순물(노이즈)을 찾아내는 데 집중한다.
45:15
타임스텝 임베딩: 노이즈 수준에 따른 적응형 처리
거의 깨끗한 이미지에서 노이즈를 제거하는 것과 완전한 노이즈에서 구조를 찾는 것은 전혀 다른 작업이기에 타임스텝 정보가 필수적이다. 사인파 함수를 이용한 sinusoidal features로 시간을 인코딩하여 네트워크에 주입함으로써, 동일한 모델이 노이즈 수준에 따라 다르게 반응하도록 만든다. 이를 통해 모델은 현재 이미지가 얼마나 오염되었는지 파악하고, 그에 맞는 적절한 강도로 노이즈 제거를 수행할 수 있다. 결과적으로 네트워크는 모든 노이즈 단계에 걸쳐 범용적인 복원 능력을 갖추게 된다.
타임스텝은 모델에게 '지금 작업의 난이도와 성격'을 알려주는 가이드라인 역할을 한다.
65:40
역방향 확산: 노이즈에서 구조를 찾아가는 생성 과정
생성 단계에서는 완전한 무작위 노이즈에서 시작하여 수학적으로 유도된 노이즈 제거 규칙을 반복 적용한다. 모델이 예측한 노이즈를 현재 이미지에서 빼고, 순방향 과정과 일관성을 유지하도록 스케일을 조정한 뒤 아주 적은 양의 새로운 노이즈를 다시 추가한다. 새로운 노이즈를 추가하는 이유는 모델이 단일한 결과로 수렴(collapse)하는 것을 방지하고 생성 결과의 다양성을 확보하기 위함이다. 이 반복적인 단계를 거치며 무의미한 노이즈는 점차 정교한 구조를 갖춘 실제 이미지로 변모한다.
생성 과정에서 매번 약간의 노이즈를 다시 섞어주는 것은 모델이 창의적이고 다양한 이미지를 만들 수 있게 하는 핵심 장치이다.
용어 해설
- 순방향 확산(Forward Diffusion)
- — 데이터셋의 실제 이미지에 의도적으로 가우시안 노이즈를 단계적으로 추가하여 완전한 노이즈 상태로 만드는 과정이다. 이 과정은 학습이 아닌 사전에 정의된 수학적 규칙에 따라 제어되며, 모델이 역과정을 학습하기 위한 기초 데이터를 생성하는 역할을 한다.
- 유넷(UNet)
- — 이미지 세분화 및 복원에 널리 쓰이는 신경망 구조로, 인코더와 디코더가 대칭을 이루며 스킵 연결을 통해 세부 정보를 보존한다. DDPM에서는 노이즈가 섞인 이미지와 타임스텝을 입력받아 해당 이미지에 포함된 노이즈 성분을 예측하는 핵심 엔진으로 사용된다.
- 사인파 임베딩(Sinusoidal Embedding)
- — 시간이나 위치 정보를 사인과 코사인 함수를 이용해 고차원 벡터로 변환하는 기법이다. 확산 모델에서는 현재 노이즈 수준(타임스텝)을 네트워크에 전달하여, 모델이 노이즈의 양에 따라 서로 다른 강도로 노이즈 제거를 수행할 수 있게 돕는다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 05. 02.수집 2026. 05. 02.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
