챕터별 상세
픽셀 공간의 한계와 잠재 공간의 필요성
이미지를 픽셀 단위로 직접 다루는 방식은 차원의 저주와 데이터 중복성 문제를 야기한다. 1024x1024 해상도의 이미지는 약 300만 차원의 벡터로 표현되어 연산 비용이 기하급수적으로 증가하며, 인접 픽셀 간의 높은 상관관계로 인해 정보 밀도가 낮다. 따라서 데이터를 의미 있는 저차원 벡터로 압축하는 잠재 공간(Latent Space)으로의 전환이 필수적이다. 이를 통해 확산 모델은 복잡한 세부 사항 대신 핵심적인 구조적 특징 학습에 집중할 수 있다.
오토인코더(Autoencoder)와 VAE의 구조
오토인코더는 인코더를 통해 데이터를 압축하고 디코더로 재구성하는 과정을 통해 잠재 표현을 학습한다. 일반적인 오토인코더는 잠재 공간이 불연속적이고 구조화되지 않아 생성 모델로 사용하기 어렵다는 단점이 있다. 이를 해결하기 위해 Variational Autoencoder(VAE)는 데이터를 특정 점이 아닌 확률 분포(평균과 분산)로 매핑한다. 결과적으로 잠재 공간이 연속적으로 변하여 샘플링을 통한 데이터 생성이 가능해지며, 이는 Latent Diffusion 모델의 기반이 된다.
VAE는 인코딩된 잠재 공간이 표준 정규 분포를 따르도록 강제하는 KL 발산 항을 손실 함수에 포함한다.
VAE의 블러 현상 해결을 위한 손실 함수 개선
기존 VAE는 픽셀 단위의 L2 손실 함수를 사용하기 때문에 생성된 이미지가 흐릿해지는(Blurry) 경향이 있다. 이를 극복하기 위해 Perceptual Loss와 Adversarial Loss를 도입하여 시각적 품질을 개선했다. Perceptual Loss는 사전 학습된 네트워크의 피처 맵을 비교하여 인간의 시각적 인지와 유사한 특징을 보존하게 한다. 또한 GAN의 판별기(Discriminator)를 활용한 Adversarial Loss를 추가하여 모델이 더 선명하고 실제와 같은 텍스트를 생성하도록 유도한다.
LPIPS(Learned Perceptual Image Patch Similarity)는 이미지 패치 간의 지각적 유사성을 측정하는 대표적인 지표다.
잠재 확산 모델(Latent Diffusion Models)의 작동 원리
Latent Diffusion 모델은 VAE의 인코더로 압축된 잠재 공간 상에서 확산 프로세스를 수행한다. 학습 시에는 인코더를 통해 얻은 잠재 벡터에 노이즈를 추가하고, U-Net 아키텍처를 통해 이 노이즈를 예측하도록 학습한다. 추론 시에는 순수 노이즈에서 시작하여 잠재 공간에서 역확산 과정을 거친 후, 최종적으로 VAE의 디코더를 통해 픽셀 공간으로 복원한다. 이 방식은 픽셀 공간 대비 연산량을 획기적으로 줄이면서도 고해상도 이미지 생성을 가능하게 한다.
CLIP을 활용한 멀티모달 텍스트 및 이미지 표현
텍스트와 이미지를 동일한 벡터 공간에서 비교하기 위해 CLIP(Contrastive Language-Image Pre-training) 아키텍처를 활용한다. 텍스트는 Transformer 인코더를, 이미지는 ViT(Vision Transformer) 인코더를 사용하여 각각 임베딩 벡터를 추출한다. 대규모 데이터셋에서 이미지와 해당 캡션의 코사인 유사도를 최대화하는 대조 학습(Contrastive Learning)을 통해 두 모달리티 간의 의미적 연결을 학습한다. 이렇게 학습된 공통 공간의 벡터는 확산 모델이 텍스트 조건에 맞는 이미지를 생성하도록 가이드하는 핵심 정보가 된다.
ViT는 이미지를 패치 단위로 나누어 Transformer 구조에 입력하는 방식이다.
조건부 생성을 위한 가이던스(Guidance) 기법
생성 결과가 입력 조건(텍스트 등)에 더 잘 부합하도록 Classifier-based 및 Classifier-free Guidance 기법을 사용한다. Classifier-based 방식은 별도의 분류기 그래디언트를 사용하여 노이즈 제거 방향을 조정하지만, 노이즈 섞인 데이터에 대한 분류기 학습이 어렵다는 단점이 있다. 이를 보완한 Classifier-free Guidance(CFG)는 학습 시 조건부와 무조건부 예측을 동시에 수행하고 두 예측값의 차이를 가중치(w)만큼 증폭시킨다. 실험 결과 w가 1보다 클 때 텍스트 충실도가 높아지며, 현재 대부분의 상용 모델에서 CFG가 표준으로 채택되고 있다.
CFG 가중치가 너무 높으면 이미지의 다양성이 줄어들고 채도가 과해지는 현상이 발생할 수 있다.
text
L_VAE = -E_z[log p_theta(x|z)] + KL(q_phi(z|x) || p(z))VAE의 손실 함수인 ELBO를 재구성 오차와 KL 발산 항으로 표현한 수식
용어 해설
- 잠재 확산 모델(Latent Diffusion Model)
- — 고해상도 이미지의 픽셀 공간 대신 오토인코더를 통해 압축된 저차원의 잠재 공간(Latent Space)에서 확산 프로세스를 수행하는 모델이다. 연산 효율성을 극대화하면서도 고품질의 이미지를 생성할 수 있어 Stable Diffusion 등 현대 생성 AI의 핵심 기술로 자리 잡았다.
- 변이형 오토인코더(Variational Autoencoder)
- — 데이터를 고정된 벡터가 아닌 확률 분포의 파라미터(평균과 분산)로 인코딩하여 잠재 공간을 연속적이고 구조적으로 만드는 생성 모델이다. 잠재 공간에서 샘플링을 통해 새로운 데이터를 생성할 수 있으며, 확산 모델의 잠재 공간을 구축하는 기반 기술로 활용된다.
- 증거 하한(ELBO)
- — 관측 데이터의 로그 우도(Log-likelihood)를 직접 계산하기 어려울 때 사용하는 하한선 값이다. VAE 학습 시 재구성 오차와 KL 발산 항을 결합하여 이 값을 최대화함으로써 모델이 데이터의 분포를 효과적으로 학습하도록 유도한다.
- 분류기 없는 가이던스(Classifier-free Guidance)
- — 별도의 분류기 모델 없이 학습 과정에서 조건부 생성과 무조건부 생성을 동시에 학습시켜 생성 방향을 제어하는 기법이다. 분류기 기반 가이던스보다 계산 비용이 적고 생성 품질이 안정적이어서 최신 텍스트-이미지 생성 모델에서 표준적으로 사용된다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 04. 29.수집 2026. 04. 29.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
