챕터별 상세
이미지 생성 모델의 목표와 요구사항
이미지 생성 모델은 이미지의 전역적 구조를 이해함과 동시에 국소적인 세부 사항을 보존해야 하는 과제를 안고 있다. 또한 타임스텝(Timestep)이나 텍스트 조건과 같은 외부 신호에 민감하게 반응해야 하며 고해상도 이미지 생성을 위해 계산 효율성과 확장성을 갖춰야 한다. 이러한 요구사항을 충족하기 위해 모델 아키텍처는 단순한 합성곱 신경망에서 복잡한 계층 구조로 발전했다. 결국 좋은 아키텍처란 데이터의 특징을 가장 잘 반영하는 귀납적 편향(Inductive Bias)을 설계하는 것이다.
합성곱 기반 아키텍처와 수용 영역(Receptive Field)
합성곱(Convolution) 연산은 필터를 통해 이미지의 에지, 질감 등 국소적 특징을 추출하는 데 탁월하다. 하지만 단일 합성곱 층은 이미지의 좁은 영역만 볼 수 있으므로 전체적인 구도를 파악하기 위해서는 수용 영역(Receptive Field)을 넓히는 과정이 필수적이다. 이를 위해 모델은 다운샘플링(Downsampling)을 통해 해상도를 줄이면서 특징 맵의 깊이를 늘려 더 넓은 맥락을 파악한다. 이후 다시 업샘플링(Upsampling)을 거쳐 원래 이미지 크기로 복원하며 이 과정에서 전역적 정보와 국소적 정보가 결합된다.
수용 영역은 출력 층의 한 픽셀이 입력 이미지의 어느 정도 범위를 참조하는지를 나타내는 지표이다.
U-Net 아키텍처의 구조와 확산 모델 적용
U-Net은 인코더와 디코더가 대칭을 이루는 U자형 구조로 확산 모델의 초기 백본으로 널리 사용되었다. 인코더 단계에서 정보를 압축하며 전역적 구조를 파악하고 디코더 단계에서 이를 복원하는데 이때 스킵 연결(Skip Connection)을 사용하여 인코더의 세부 정보를 디코더에 직접 전달한다. 이 구조는 이미지의 해상도를 유지하면서도 노이즈를 제거하는 데 매우 효율적임이 DDPM 등의 연구를 통해 증명되었다. 하지만 고해상도 데이터로 갈수록 모델 크기를 키우는 데 한계가 있다는 단점이 존재한다.
스킵 연결은 정보 손실을 방지하기 위해 하위 계층의 특징 맵을 상위 계층에 직접 이어붙이는 기법이다.
Diffusion Transformer (DiT)의 등장
Transformer 아키텍처의 성공에 힘입어 확산 모델의 백본을 Transformer로 교체한 DiT가 제안되었다. DiT는 이미지를 패치(Patch) 단위로 쪼개어 토큰화한 뒤 Self-Attention 메커니즘을 통해 모든 패치 간의 관계를 계산한다. 이는 U-Net과 달리 이미지 내의 먼 거리 간 상호작용을 직접적으로 모델링할 수 있게 해주며 모델 파라미터와 데이터 규모에 따른 성능 향상이 매우 선형적이다. 실험 결과 패치 크기를 줄이고 모델 깊이를 늘릴수록 이미지 생성 품질을 나타내는 FID 지표가 획기적으로 개선됨이 확인되었다.
DiT는 2022년 Peebles와 Xie에 의해 제안된 모델로 최신 고성능 생성 AI의 표준이 되었다.
적응형 레이어 정규화 (adaLN)를 통한 조건 주입
DiT 블록 내에서 타임스텝과 클래스 레이블 정보를 효과적으로 주입하기 위해 adaLN 기법이 사용된다. 외부 조건 벡터를 MLP에 통과시켜 각 채널별 스케일(Scale)과 시프트(Shift) 파라미터를 생성하고 이를 레이어 정규화 과정에 적용한다. 특히 학습 초기에는 게이트(Gate) 값을 0으로 설정하여 항등 함수로 시작하게 함으로써 학습의 안정성을 높이는 adaLN-Zero 방식이 가장 우수한 성능을 보였다. 이 방식은 Cross-Attention 방식보다 계산 비용이 적으면서도 조건에 따른 이미지 생성을 정밀하게 제어할 수 있다.
레이어 정규화는 각 샘플 내에서 특징값들을 정규화하여 학습 속도를 높이고 안정화하는 기법이다.
위치 정보 보존을 위한 RoPE와 2D 확장
Transformer는 구조적으로 토큰의 순서를 알 수 없으므로 위치 임베딩(Position Embedding)이 필수적이다. 초기에는 절대적 위치 값을 더해주는 방식을 썼으나 최근에는 토큰 간의 상대적 거리를 회전 행렬로 표현하는 RoPE가 주류로 자리 잡았다. 이미지 데이터의 경우 X축과 Y축의 위치를 각각 독립적으로 처리하거나 결합하여 처리하는 2D RoPE 변형들이 사용된다. Stable Diffusion 3와 같은 최신 모델은 이러한 2D RoPE를 통해 이미지 내 패치들의 공간적 배치를 더 정확하게 이해하고 고품질의 결과물을 생성한다.
RoPE는 원래 NLP에서 개발되었으나 최근 비전 모델에서도 그 효율성을 인정받아 널리 채택되고 있다.
용어 해설
- 수용 영역(Receptive Field)
- — 신경망의 특정 계층에 있는 뉴런이 입력 이미지에서 영향을 받는 영역의 크기이다. 합성곱 연산이 반복될수록 수용 영역이 넓어져 모델이 이미지의 전역적인 구조를 파악할 수 있게 된다. 이미지 생성 모델이 전체적인 구도를 일관성 있게 유지하는 데 필수적인 개념이다.
- U-Net
- — 인코더와 디코더가 대칭 구조를 이루며 스킵 연결을 통해 세부 정보를 보존하는 아키텍처이다. 이미지의 전역적 맥락과 국소적 세부 사항을 동시에 학습할 수 있어 초기 확산 모델의 표준 백본으로 널리 사용되었다. 최근에는 더 높은 확장성을 위해 Transformer 구조로 대체되는 추세이다.
- 확산 트랜스포머(Diffusion Transformer (DiT))
- — 확산 모델의 백본을 기존의 U-Net에서 Transformer 구조로 교체한 아키텍처이다. 이미지를 패치 단위로 분할하여 처리하며 모델 크기와 데이터량에 따른 성능 확장성이 매우 뛰어나다. Sora, Stable Diffusion 3 등 최신 고성능 생성 모델의 핵심 기술로 자리 잡았다.
- 적응형 레이어 정규화(Adaptive Layer Normalization (adaLN))
- — 타임스텝이나 텍스트 조건과 같은 외부 정보를 신경망의 정규화 계층에 주입하는 기법이다. 외부 조건에 따라 정규화 파라미터를 동적으로 조절하여 모델이 조건에 맞는 이미지를 생성하도록 유도한다. DiT 아키텍처에서 효율적인 조건부 생성을 가능하게 하는 핵심 요소이다.
- 회전 위치 임베딩(Rotary Position Embedding (RoPE))
- — 벡터를 회전시키는 방식을 통해 토큰 간의 상대적인 위치 정보를 주입하는 기술이다. 절대적 위치 대신 토큰 사이의 거리에 따른 상관관계를 효과적으로 캡처할 수 있게 해준다. 최근에는 2D 이미지 데이터에 맞춰 확장된 버전이 Stable Diffusion 3 등에 적용되어 성능을 높이고 있다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 05. 12.수집 2026. 05. 12.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
