TL;DR
이미지 생성 모델은 국소적 세부 사항과 전역적 구조를 모두 파악해야 하며 이를 위해 U-Net에서 확장성이 뛰어난 DiT 구조로 발전했다. 특히 adaLN과 RoPE 같은 최적화 기법이 최신 모델의 성능 향상에 결정적인 역할을 한다.
배경
스탠포드 대학교의 CME 296 과정 중 다섯 번째 강의로 이미지 생성 모델의 핵심 아키텍처를 다룹니다.
대상 독자
확산 모델의 내부 구현 방식과 최신 아키텍처 트렌드를 깊이 있게 이해하고자 하는 AI 연구자 및 개발자
의미 / 영향
이 강의는 확산 모델의 백본이 U-Net에서 DiT로 전환되는 기술적 필연성을 명확히 제시한다. 개발자들은 고해상도 이미지 생성을 위해 단순한 모델 크기 증대보다 패치 크기 최적화와 adaLN 같은 정교한 조건 주입 방식에 집중해야 한다. 이러한 아키텍처의 발전은 향후 Sora와 같은 고성능 비디오 생성 모델의 기반 기술로 직결될 것이다.
챕터별 상세
이미지 생성 모델의 목표와 요구사항
합성곱 기반 아키텍처와 수용 영역(Receptive Field)
수용 영역은 출력 층의 한 픽셀이 입력 이미지의 어느 정도 범위를 참조하는지를 나타내는 지표이다.
U-Net 아키텍처의 구조와 확산 모델 적용
스킵 연결은 정보 손실을 방지하기 위해 하위 계층의 특징 맵을 상위 계층에 직접 이어붙이는 기법이다.
Diffusion Transformer (DiT)의 등장
DiT는 2022년 Peebles와 Xie에 의해 제안된 모델로 최신 고성능 생성 AI의 표준이 되었다.
적응형 레이어 정규화 (adaLN)를 통한 조건 주입
레이어 정규화는 각 샘플 내에서 특징값들을 정규화하여 학습 속도를 높이고 안정화하는 기법이다.
위치 정보 보존을 위한 RoPE와 2D 확장
RoPE는 원래 NLP에서 개발되었으나 최근 비전 모델에서도 그 효율성을 인정받아 널리 채택되고 있다.
용어 해설
- Receptive Field
- — 신경망의 특정 계층에 있는 뉴런이 입력 이미지에서 영향을 받는 영역의 크기이다. 합성곱 연산이 반복될수록 수용 영역이 넓어져 모델이 이미지의 전역적인 구조를 파악할 수 있게 된다. 이미지 생성 모델이 전체적인 구도를 일관성 있게 유지하는 데 필수적인 개념이다.
- U-Net
- — 인코더와 디코더가 대칭 구조를 이루며 스킵 연결을 통해 세부 정보를 보존하는 아키텍처이다. 이미지의 전역적 맥락과 국소적 세부 사항을 동시에 학습할 수 있어 초기 확산 모델의 표준 백본으로 널리 사용되었다. 최근에는 더 높은 확장성을 위해 Transformer 구조로 대체되는 추세이다.
- Diffusion Transformer (DiT)
- — 확산 모델의 백본을 기존의 U-Net에서 Transformer 구조로 교체한 아키텍처이다. 이미지를 패치 단위로 분할하여 처리하며 모델 크기와 데이터량에 따른 성능 확장성이 매우 뛰어나다. Sora, Stable Diffusion 3 등 최신 고성능 생성 모델의 핵심 기술로 자리 잡았다.
- Adaptive Layer Normalization (adaLN)
- — 타임스텝이나 텍스트 조건과 같은 외부 정보를 신경망의 정규화 계층에 주입하는 기법이다. 외부 조건에 따라 정규화 파라미터를 동적으로 조절하여 모델이 조건에 맞는 이미지를 생성하도록 유도한다. DiT 아키텍처에서 효율적인 조건부 생성을 가능하게 하는 핵심 요소이다.
- Rotary Position Embedding (RoPE)
- — 벡터를 회전시키는 방식을 통해 토큰 간의 상대적인 위치 정보를 주입하는 기술이다. 절대적 위치 대신 토큰 사이의 거리에 따른 상관관계를 효과적으로 캡처할 수 있게 해준다. 최근에는 2D 이미지 데이터에 맞춰 확장된 버전이 Stable Diffusion 3 등에 적용되어 성능을 높이고 있다.
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
