챕터별 상세
이전 강의 요약 및 문제 정의
이전 강의에서 다룬 DDPM의 노이즈 제거 과정과 Score Matching의 확률 밀도 기울기 학습 방식을 복습한다. 기존 방식들은 이산적인 타임스텝이나 복잡한 SDE(확률 미분 방정식)에 의존하여 추론 속도가 느린 단점이 있었다. 이번 강의에서는 노이즈 분포를 데이터 분포로 직접 연결하는 연속적인 확률 경로를 찾는 것을 목표로 설정한다.
DDPM은 가우시안 노이즈를 단계적으로 추가/제거하는 방식이며, Score Matching은 데이터 분포의 로그 확률 기울기를 학습하는 방식이다.
확률 경로와 벡터장의 기초 개념
확률 변수가 시간에 따라 이동하는 궤적(Trajectory)과 이를 집합적으로 나타내는 흐름(Flow)의 개념을 정의한다. 공간의 각 지점에서 입자가 이동할 방향과 속도를 결정하는 벡터장(Vector Field)이 확률 경로를 생성하는 핵심 요소임을 밝힌다. 수학적으로 벡터장은 입자의 위치 변화율을 나타내는 속도 함수로 해석된다.
연속 방정식과 확률 밀도 보존
확률 밀도의 시간에 따른 변화를 기술하는 연속 방정식(Continuity Equation)을 도입한다. 이 방정식은 확률 질량이 소멸하거나 생성되지 않고 벡터장을 따라 보존됨을 수학적으로 보장한다. 미시적 관점의 ODE(상미분 방정식)와 거시적 관점의 확률 밀도 변화가 이 방정식을 통해 하나로 연결된다.
물리학의 유체 역학에서 유래한 개념으로, 생성 모델에서는 노이즈가 데이터로 변환되는 과정에서 확률의 총합이 1로 유지됨을 의미한다.
Flow Matching의 핵심 원리
모델이 직접 벡터장을 예측하도록 학습하는 Flow Matching 기법을 상세히 다룬다. 전체 데이터 분포에 대한 벡터장을 직접 구하는 것은 불가능하므로, 개별 데이터 포인트 사이의 조건부 벡터장을 활용하는 전략을 취한다. 가우시안 노이즈와 데이터 포인트 사이를 직선으로 잇는 단순한 조건부 확률 경로를 설정함으로써 학습 난이도를 획기적으로 낮춘다.
조건부 및 주변부 벡터장의 수학적 유도
특정 데이터 포인트 x1이 주어졌을 때의 조건부 벡터장 ut(x|x1)을 (x1 - x) / (1 - t)로 정의한다. 이 조건부 벡터장들을 모든 데이터 포인트에 대해 가중 평균하여 주변부 벡터장(Marginal Vector Field)을 구성한다. 이 구성을 통해 복잡한 전체 데이터 분포를 생성할 수 있는 통합된 벡터장을 수학적으로 유도해낸다.
주변부 벡터장은 각 지점에서 어떤 데이터 포인트로 향할 확률이 높은지를 반영한 가중 평균 속도와 같다.
조건부 Flow Matching 손실 함수
실제 학습에 사용되는 CFM(Conditional Flow Matching) 손실 함수를 도출한다. 모델이 예측한 벡터장과 이론적인 조건부 벡터장 사이의 MSE(평균 제곱 오차)를 최소화하는 방식이다. 이 손실 함수는 주변부 벡터장을 직접 계산할 필요 없이 개별 샘플 쌍에 대해서만 계산하면 되므로 매우 효율적이다.
CFM 손실 함수를 최적화하는 것은 결과적으로 주변부 벡터장을 학습하는 것과 수학적으로 동일함이 증명되어 있다.
모델 학습 및 추론 프로세스
학습 시에는 노이즈, 데이터 샘플, 타임스텝을 무작위로 선택하여 직선 경로상의 벡터를 예측하도록 훈련한다. 추론 시에는 학습된 벡터장을 사용하여 노이즈 샘플을 ODE 솔버(예: Euler 방법)로 적분하여 데이터로 변환한다. 이 과정은 확산 모델의 확률적 샘플링보다 훨씬 안정적이고 결정론적인 결과를 제공한다.
Rectified Flow를 통한 성능 최적화
학습된 경로가 곡선일 경우 추론 시 여러 번의 스텝이 필요한 문제를 해결하기 위해 Rectified Flow 기법을 소개한다. 1차 학습된 모델로 생성한 노이즈-데이터 쌍을 새로운 학습 데이터로 사용하여 경로를 직선화(Reflow)한다. 이 과정을 반복하면 경로가 완벽한 직선에 가까워지며, 단 한 번의 스텝(One-step generation)으로도 고품질 이미지를 생성할 수 있게 된다.
Rectified Flow는 노이즈와 데이터 사이의 매핑을 더 단순하게 재정렬하여 모델의 예측 부담을 줄여준다.
확산 모델 및 Score Matching과의 관계
Flow Matching이 기존의 확산 모델 및 Score Matching을 포괄하는 더 넓은 프레임워크임을 설명한다. 확산 모델의 확률 경로도 특정 형태의 벡터장으로 표현될 수 있으며, Flow Matching은 이를 더 일반화하고 직선 경로를 선택할 수 있는 유연성을 제공한다. 결과적으로 Flow Matching은 더 빠른 추론과 단순한 수학적 구조를 가진 상위 호환 기술로 자리 잡는다.
Stochastic Interpolants 논문을 참고하면 이 세 가지 패러다임의 수학적 통합을 더 깊이 이해할 수 있다.
용어 해설
- 벡터장(Vector Field)
- — 공간의 각 지점에서 입자가 이동해야 할 방향과 속도를 정의하는 함수이다. Flow Matching에서는 가우시안 노이즈를 데이터 분포로 변환하기 위한 경로를 가이드하는 핵심적인 역할을 수행한다.
- 연속 방정식(Continuity Equation)
- — 물리학에서 질량 보존 법칙을 나타내는 방정식으로, 확률 밀도의 시간에 따른 변화가 확률 흐름의 발산과 같음을 정의한다. 생성 모델에서는 확률 경로와 벡터장 사이의 수학적 연결 고리를 제공한다.
- 정류 흐름(Rectified Flow)
- — Flow Matching의 성능을 최적화하기 위해 곡선 형태의 확률 경로를 직선에 가깝게 펴주는 재학습 기법이다. 이를 통해 추론 시 단 한 번의 스텝만으로도 고품질의 샘플을 생성할 수 있게 한다.
- 상미분 방정식(Ordinary Differential Equation)
- — 변수와 그 도함수 사이의 관계를 나타내는 방정식으로, Flow Matching에서는 노이즈를 데이터로 변환하는 결정론적인 궤적을 계산하는 데 사용된다. 확산 모델의 확률적 과정과 대비되는 결정론적 추론의 기초가 된다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 04. 21.수집 2026. 04. 21.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
