온-폴리시 확산 증류에서의 Classifier-Free Guidance 재검토

현대 확산 모델은 추론에서 Classifier-Free Guidance(CFG)를 표준으로 사용하며 가이드 스케일을 통해 출력 강도를 제어한다. 온-폴리시 증류는 학생이 생성하는 상태에서 교사의 로컬 예측을 따라 학습시키는 방식으로 지식 전이에 유리하지만, 합성된 CFG 목표만을 맞추면 분기별(branch) 오차가 서로 보상되어 분기 수준의 식별성이 상실될 수 있다. 이 현상은 추론 시 가이드 스케일이 달라질 때 성능 급락으로 드러되며 따라서 안정적인 제어와 스타일 전이를 실제 응용에서 보장하려면 분기별 감독이 필요하다.

확산 모델의 Classifier-Free Guidance(CFG)는 모델을 양(positive) 조건과 음(negative) 조건으로 두 번 평가한 뒤 가중합으로 최종 denoising 방향을 만든다. 이 합성은 추론 시 가이드 스케일 γ를 통해 출력 특성을 조절할 수 있게 해 주지만 합성 이전의 분기별 예측은 소거될 수 있다. 온-폴리시 증류에서 naive하게 합성된 목표만을 맞추면 양·음 분기의 오차가 서로 상쇄되어 분기별 정보가 사라질 가능성이 존재한다. 문제의 핵심은 교사가 음성 분기에 학생에게 주어지지 않는 특권 정보를 포함할 때 드러난다. 이 경우 양분기 오차를 줄이려는 업데이트가 음분기 오차를 증가시키며 두 분기 오차가 반대로 움직이는 적대적 역학이 발생한다. 그 결과 학습 중에는 합성된 목표가 충족되는 것처럼 보이지만 다른 가이드 스케일로 재조합하면 성능이 급격히 저하된다. 해결책으로 PDM은 합성 전에 감독을 분리하여 양분기 예측(e+)을 직접 고정하고 CFG의 조건 방향(d=v+−v−)을 별도 항으로 맞춘다. 이렇게 하면 e+와 e−를 동시에 영으로 만드는 유일한 해를 강제하여 보상 자유도를 제거한다. 이 분리 감독은 모델이 추론 시 가이드 스케일을 바꿔도 분기별 보상으로 인한 성능 붕괴를 방지하여 제어·스타일 전이 작업에서 더 안정적인 지식 전이를 가능하게 한다.

논문은 teacher와 student 모두 양·음 분기 예측을 유지하는 branch-retaining OPD 설정을 고려했다. naive 목표는 교사와 학생의 CFG 합성 예측을 L2로 직접 맞추는 식으로 정의되며 이 합성은 γ·v+ + (1−γ)·v− 형태로 표현된다. 이 합성 목표만을 최소화하면 분기별 오차 e+와 e−의 선형 결합만이 제약되어 수많은 보상 쌍이 존재할 수 있음을 유도했다. PDM은 두 항으로 구성된 분기 인식형 목적함수를 도입했다. 첫 번째 항은 양분기 예측의 차이 e+의 L2 항으로 양분기의 직접적 정합을 강제하고 두 번째 항은 교사와 학생의 CFG 조건 방향(dT−dS)의 L2 항으로 방향 정보를 보존한다. 두 항의 상대 가중치 λ는 방향 매칭의 강도를 조절하며 λ>0이면 분기별 영해가 유일해진다. 대안으로 Independent Branch Matching(IBM)은 양·음 분기를 각각 매칭하는 목적을 채택하여 naive 목적의 교차항을 제거했다. 실험에서는 PDM이 IBM보다 경험적으로 더 안정적인 결과를 보였으나 두 방법 모두 naive에 비해 지침-스케일 일반화에서 우수했다. 마지막으로 dense-to-sparse 비디오에서는 학생 롤아웃의 처음 K 스텝만 교사의 예측으로 감독하는 ℒOPD^{(K)} 방식을 채택하여 계산 비용을 줄였으며 K=8이 성능과 효율의 균형에서 우수함을 확인했다.

이미지 도메인 실험에서 두 가지 조건을 대조했다: shared negative conditioning(텍스트 렌더링)과 privileged negative conditioning(참조 기반). 텍스트 렌더링에서는 naive와 PDM 모두 교사와 유사한 CFG 응답을 보였으며 양·음 분기 오차가 공동으로 감소하는 benign regime이 관찰되었다. 참조 기반 설정에서는 naive가 양분기 오차를 줄이는 동안 음분기 오차를 증가시키는 적대적 역학을 보여 NBA 현상이 검출되었고 PDM은 음분기 오차의 지속적 증가를 억제했다. dense-to-sparse 비디오 제어 벤치마크(Wan-VACE, 테스트 클립 600개)에서 PDM은 포즈, 깊이, 스크리블 세 모달리티 모두에서 대부분의 제어 정확도 지표에서 naive보다 우수했다. 예를 들어 포즈 제어에서 naive OPD의 전체 MPJPE는 4.43인 반면 PDM은 4.13으로 개선되었고 핵심 프레임 MPJPE는 naive 3.14 대비 PDM 2.83으로 더 낮았다. 지침-스케일 일반화 실험에서 naive는 γ=1일 때 FVD가 507.70으로 큰 악화를 보인 반면 PDM은 동일 조건에서 FVD 60.97로 안정적 거동을 보였다. 효율성 관련 실험에서는 학생 롤아웃의 처음 K 상태만 감독하는 방식이 학습 시간을 크게 단축했으며 K=8 설정에서 s/step 약 132초로 전 경로 감독(K=50, 약 790초) 대비 실용적 이득을 확보하면서 성능을 유지했다.

전체 아키텍처는 교사와 학생이 동일한 분기 인터페이스를 유지하는 branch-retaining CFG 모델을 전제로 한다. 학습 시점에는 학생이 생성한 상태 x_t^S에서 교사와 학생의 분기별 예측 v^+, v^-를 평가하고 PDM은 e_+=(v_T^+−v_S^+)의 L2 항과 d_T−d_S=(v_T^+−v_T^−)−(v_S^+−v_S^−)의 L2 항을 합산하여 손실을 계산한다. 방향 항의 가중치 λ는 실험적으로 λ=1을 기본값으로 사용하였고 λ 값 변화에 따라 제어 정확도와 분포 품질 지표 간에 절충이 관찰되었다. 수학적 관점에서 naive 목적은 합성된 차이 γ e_+ + (1−γ) e_-의 L2를 최소화하여 e_+와 e_-의 선형 조합만을 구속한다. 이 조건은 e_+ = (γ−1)/γ e_- 형태의 무수히 많은 비영해를 허용하며 privileged negative conditioning에서는 이 보상 자유도가 음분기 오차 증가를 초래했다. PDM은 합성 이전에 e_+와 (e_+−e_−)를 명시적으로 제약하여 보상 자유도를 제거하고 γ에 관계없이 분기 수준의 식별성을 회복했다. 실험적 구현에서는 이미지 도메인의 텍스트 렌더링에 SD3.5-Medium 기반 OCR teacher를 사용했고 참조-조건화 실험에서는 FLUX-2-klein-base-4B 교사를 사용했다. dense-to-sparse 비디오 벤치마크는 Wan-VACE와 OpenHumanVid를 기반으로 구성되었고 K=8일 때 성능·비용 균형이 가장 우수함을 확인했다. 학습 시 기본 가이드 스케일은 비디오 실험에서 γ_train=5였고 참조-조건화 이미지 실험에서는 γ_train=2를 사용하였다.

논문은 PDM과 IBM이 비퇴화(non-degenerate) 가중치 하에서 동일한 분기 수준의 영해를 갖는다는 점을 명시하며 두 방법의 최적화 행태 차이는 현재 경험적 관찰에 기반함을 인정했다. 따라서 PDM이 IBM보다 일관되게 나은 이유에 대한 이론적 해석은 미완성 상태로 남아 있으며 후속 연구에서 최적화 역학을 수학적으로 규명할 필요가 있다. 연구 범위는 branch-retaining CFG 설정과 특정 privileged negative conditioning 사례에 국한되어 있어 다른 유형의 guidance 메커니즘이나 교사·학생 조건 불일치 전반으로 일반화하려면 추가 검증이 필요하다.