스케일 스페이스 확산 모델 (Scale Space Diffusion)

이미지가 노이즈로 가득 찬 초기 단계에서는 고해상도 연산이 불필요하다는 점에 착안하여 정보 밀도에 따라 해상도를 가변적으로 조절하는 프레임워크를 제안한다. 이를 통해 이미지 생성 품질을 유지하면서도 연산 비용과 시간을 획기적으로 줄여 고해상도 생성 모델의 효율성을 극대화한다.

확산 모델의 각 단계는 이미지의 세부 정보를 점진적으로 복원하는 과정이다. 초기 단계에서는 전체적인 윤곽을, 후기 단계에서는 미세한 질감을 생성한다. 기존 모델은 이 모든 과정을 동일한 고해상도 피처 맵 위에서 수행하는데, 이는 정보가 거의 없는 초기 단계에서 불필요하게 많은 연산량을 소모하게 만든다. 본 논문은 컴퓨터 비전의 고전 이론인 스케일 스페이스를 결합하여 노이즈가 많은 상태는 낮은 해상도에서 처리하고 노이즈가 제거될수록 해상도를 높여가는 방식을 취한다. 이를 통해 정보가 적은 초기에는 가벼운 연산을, 정보가 구체화되는 후기에는 정밀한 연산을 수행함으로써 전체적인 생성 속도를 비약적으로 높이면서도 고품질 이미지를 얻을 수 있게 된다.

일반화된 선형 열화 프레임워크를 통해 확산 과정을 재정의한다. 기존의 스칼라 계수 대신 [이전 단계의 이미지 x_{t-1}을 입력으로] → [다운샘플링 연산자 M_t를 적용해 크기를 줄이는 연산을 수행해] → [현재 단계의 이미지 x_t를 얻고] → [이 결과가 가우시안 피라미드의 정보 계층과 일치하도록 설계했다.]

해상도 전환 시 발생하는 노이즈의 상관관계를 해결하기 위해 비등방성 샘플링을 수행한다. [표준 정규 분포 노이즈를 입력으로] → [Lanczos 알고리즘을 통해 공분산 행렬의 제곱근을 근사하여 곱하는 연산을 수행해] → [픽셀 간 의존성이 반영된 노이즈를 얻고] → [이를 역확산 단계에 적용하여 정확한 이미지 복원을 가능케 했다.]

Flexi-UNet 아키텍처는 해상도에 따라 연산 경로를 최적화한다. [저해상도 입력을 입력으로] → [UNet의 깊은 층만 통과하고 얕은 층은 1x1 Conv로 우회하는 연산을 수행해] → [연산량이 줄어든 특징 맵을 얻고] → [고해상도로 갈수록 전체 네트워크를 활성화하여 세부 정보를 정밀하게 처리한다.]

CelebA-256 해상도 실험에서 SSD(6단계 해상도)는 기존 DDPM의 학습 시간인 87.31시간을 42.88시간으로 50% 이상 단축했다. 연산량 지표인 GFLOPs 또한 497.03에서 209.69로 크게 감소하여 효율성을 입증했다.

생성 품질 측면에서 CelebA-64 데이터셋 기준 SSD(2단계)는 2.14의 FID를 기록하여 대조군인 DDPM-epsilon(2.22)보다 우수한 성능을 보였다. ImageNet-64에서도 기존 모델들과 대등한 수준의 품질을 유지하면서 더 빠른 생성 속도를 확인했다.

Ablation Study를 통해 Flexi-UNet이 일반 UNet 대비 추론 속도를 약 10-20% 향상시킴을 확인했다. 또한 비등방성 노이즈 샘플링을 생략할 경우 이미지의 색상이 포화되거나 구조가 뭉개지는 현상이 발생하여 제안한 수학적 프레임워크의 필요성을 뒷받침했다.

SSD는 확산 과정의 전방 전이를 x_t = M_{1:t}x_0 + sigma_t epsilon으로 정의하며, 여기서 M_{1:t}는 가우시안 피라미드의 다운샘플링을 모델링하는 누적 선형 연산자이다. 이는 기존 DDPM이 동일 해상도에서 노이즈만 추가하던 방식을 해상도 변화를 포함하는 일반화된 형태로 확장한 것이다.

역확산 과정의 사후 분포 q(x_{t-1}|x_t, x_0)는 비등방성 공분산 행렬을 가지며, 이는 해상도가 높아지는 단계에서 픽셀 간의 공간적 상관관계를 보정해야 함을 의미한다. 이를 위해 Lanczos 알고리즘을 활용한 수치적 근사 샘플링을 도입하여 수학적 엄밀성을 유지했다.

Flexi-UNet은 단일 경로 UNet이 가변 해상도를 처리할 때 발생하는 연산 낭비를 해결한다. 각 블록 사이에 1x1 Conv 레이어를 배치하여 해상도별 채널 차원을 매핑하고, 해상도 전환 시 스킵 연결(Skip connection)에 제로 패딩을 적용하여 파라미터 공유와 유연한 구조를 동시에 달성했다.

학습 시에는 Min-SNR-gamma 가중치 전략을 적용한 x_0 예측 손실 함수를 사용한다. 해상도 스케줄 r(t)는 시간에 따라 단조 감소하도록 설계되어 노이즈가 많은 초기 단계일수록 모델이 더 낮은 해상도에서 학습되도록 유도한다.

현재 연구는 주로 2배 단위의 정수배 다운샘플링에 집중되어 있으며 임의의 선형 열화 연산에 대한 최적화는 추가 검증이 필요하다. 또한 Transformer 기반의 Diffusion Transformer(DiT) 아키텍처에 대한 적용 효과는 본 논문의 실험 범위에 포함되지 않았다.