조건부 가이드 스케줄링 기반 하이브리드 데이터-파이프라인 병렬 처리를 통한 디퓨전 모델 가속화

디퓨전 모델은 고품질 이미지를 생성하지만 추론 속도가 매우 느려 실시간 서비스에 제약이 크다. 기존 병렬 처리 방식은 화질이 깨지거나 속도 향상이 미미했으나, 이 논문은 모델 내부의 조건부 연산 특성을 활용해 화질 손상 없이 물리적 한계를 넘는 가속을 실현했다.

단락 1: 디퓨전 모델은 무작위 노이즈에서 시작해 점진적으로 노이즈를 제거하며 이미지를 생성한다. 특히 사용자의 텍스트 입력에 맞는 고품질 이미지를 만들기 위해 CFG(Classifier-Free Guidance) 기법을 사용하는데, 이는 텍스트 조건이 있는 경로와 없는 경로를 동시에 계산해야 하므로 연산량이 두 배로 늘어나 추론 속도가 매우 느려지는 원인이 된다.

단락 2: 이 논문은 이미지를 여러 조각으로 나누어 GPU에 분산하는 기존의 데이터 병렬 방식이 이미지 경계면에서 화질이 깨지는 한계가 있음을 지적했다. 대신 CFG의 두 가지 연산 경로(조건부/비조건부) 자체를 별개의 데이터 단위로 보고 각각 다른 GPU에 할당하는 '조건 기반 파티셔닝'을 도입하여 이미지의 전체적인 일관성을 완벽하게 유지했다.

단락 3: 또한 노이즈 제거 과정 중 두 경로의 예측값이 서로 비슷해지는 특정 구간을 찾아내어, 이 구간에서만 파이프라인 병렬 처리를 활성화하는 '적응형 스위칭' 기술을 적용했다. 이를 통해 2대의 GPU를 사용할 때 이론적인 가속 한계인 2배를 넘어서는 2.3배의 속도 향상을 달성하며 화질과 속도의 균형을 맞췄다.

단락 1: 하이브리드 병렬 처리 프레임워크는 조건 기반 파티셔닝과 적응형 병렬 스위칭을 결합한 구조이다. CFG 연산 과정에서 발생하는 조건부 노이즈(eps_c)와 비조건부 노이즈(eps_u)를 서로 다른 GPU에 분산 배치하여 연산 부하를 나눴다.

단락 2: 적응형 병렬 스위칭은 노이즈 제거 단계를 Warm-Up, Parallelism, Fully-Connecting의 세 단계로 구분한다. 각 단계의 전환점인 tau1과 tau2는 노이즈 예측값의 상대적 평균 절대 오차인 rel-MAEt를 기준으로 동적으로 결정된다.

단락 3: rel-MAEt 계산 시 [두 경로의 노이즈 차이 벡터의 L1 노름을 입력으로] -> [비조건부 노이즈 벡터의 L1 노름으로 나누는 연산을 수행해] -> [상대적 오차 비율을 얻고] -> [이 값이 임계값 이하로 수렴하는 구간에서 병렬 처리를 활성화하여] 통신 비용을 최소화하면서 가속을 극대화했다.

단락 1: SDXL 모델을 이용한 실험에서 2대의 NVIDIA RTX 3090 GPU로 2.31배의 가속을 달성했다. 이는 기존의 대표적 병렬화 기법인 DistriFusion(1.22배)이나 AsyncDiff(1.31배)를 크게 상회하는 결과이며, FID 지표에서도 원본 모델과 거의 동일한 수준의 화질을 유지했다.

단락 2: DiT 아키텍처 기반의 SD3 모델에서도 2.07배의 가속 성능이 나타나, 특정 모델 구조에 국한되지 않는 범용성이 입증되었다. 특히 통신 비용 측면에서 AsyncDiff 대비 약 19배 이상의 효율성이 기록되었다.

단락 3: 고해상도(2560x2560) 생성 환경에서는 H200 GPU를 사용하여 최대 2.72배의 가속이 확인되었다. 이는 해상도가 높아질수록 연산량 대비 통신 비중이 줄어드는 특성 덕분에 병렬 처리 효율이 더욱 향상됨이 확인된 결과이다.

단락 1: 제안된 아키텍처는 CFG의 이중 경로 구조를 물리적 디바이스 단위로 매핑하는 새로운 데이터 병렬화 전략을 취했다. 이는 기존의 공간적 분할(Spatial Partitioning) 방식이 초래하는 수용장(Receptive Field) 제한 문제를 해결하여 전역적 문맥 유지에 유리하다.

단락 2: 이론적 분석에 따르면 rel-MAEt는 조건부 정보 강도와 비조건부 데이터 사전 확률의 비율로 해석될 수 있다. 노이즈 제거 초기에는 조건부 정보가 지배적이지만, 중간 단계에서 두 정보의 균형이 맞춰지는 지점을 수학적으로 포착하여 병렬화 시점을 최적화했다.

단락 3: 구현 측면에서는 PyTorch 기반의 분산 환경에서 동작하며, PCIe Gen3와 같은 상대적으로 낮은 대역폭의 연결 환경에서도 적응형 스위칭을 통해 통신 병목을 효과적으로 회피하도록 설계되었다.

현재는 2대 또는 짝수 대수의 GPU 구성에 최적화되어 있으며, 단일 이미지 생성 시 2대 이상의 홀수 대수 GPU 확장성은 향후 과제로 남겨두었다.