DanceOPD: Flow-Matching 모델에서 온-정책 생성 필드 증류를 통한 다중 기능 합성

현대 이미지 생성은 하나의 배포 모델이 text-to-image, 로컬 편집, 글로벌 편집 같은 이질적 능력을 함께 지원할 것을 요구한다. 이들 능력은 동시 최적화 시 상호 간섭이 발생하여 한 능력을 강화하면 다른 능력이 약화되는 경향이 있다. DanceOPD는 각 능력을 속도 필드로 보고 학생이 자신의 롤아웃 상태에서 하드 라우팅된 필드를 단일 low-noise 쿼리로 학습하도록 하여 능력 합성을 달성했다.

기본 출발점은 flow-matching 모델이 각 시간 스텝에서 상태를 다음 상태로 움직이는 속도 필드 v(z,t,c)를 학습한다는 관점이다. 서로 다른 능력 소스는 동일한 상태 공간에 서로 다른 속도 필드를 고정된 형태로 제공하며, 학생은 이들 필드를 동일한 공간에서 흉내 내도록 학습될 수 있다. 따라서 능력 합성 문제는 '어떤 필드를 샘플별로 선택할 것인가', '어떤 학생 상태에서 필드를 쿼리할 것인가', '한 롤아웃에서 몇 개의 상태를 사용할 것인가'라는 세 가지 쿼리 문제로 환원된다.

DanceOPD는 샘플-단위 하드 라우팅을 기본 정책으로 채택하여 각 학습 예제가 정확히 하나의 능력 필드로 연결되도록 설계되었다. 라우팅 확률 π(m)은 기본적으로 균등 분포를 사용하며 라우팅된 필드 u_m(z,t,c) = v_m(z,t,c)를 정답 속도로 취득한다. 학생은 현재 파라미터로 생성한 롤아웃 z_{0:T}^θ에서 의미측 좌표 s를 샘플링하여 대응하는 물리적 시간 t=t(s)에서 stop-gradient 처리한 상태  z̄_t를 얻고 이 상태에서 라우팅된 교사 속도를 쿼리한다.

주요 실험은 T2I와 편집 합성, 로컬·글로벌 편집 합성, realism-field 흡수, CFG 흡수의 네 가지 설정으로 구성되었다. T2I와 편집 합성에서 DanceOPD는 GEditBench 평균에서 재현된 최강 OPD 대비 8.1% 향상을 기록했고 편집 소스 대비 8.5% 향상을 보였다. 로컬·글로벌 편집 합성에서는 최강 경쟁 구성 대비 16.1% 개선을 보였고 realism-field 흡수에서는 오프-폴리시 증류보다 realism 보상이 9.9% 높아졌으며 학생과 교사의 보상 격차를 85.3%까지 메웠다.

목표 손실은 의미측 학생 상태에서의 단순한 속도 MSE로 정의되며 이는 로컬 가우시안 전이 가정을 통해 KL-스타일 지역 전이 매칭이 시간 가중 MSE로 환원된다는 수학적 근거를 가진다. 구체적으로 작은 역시간 스텝에서 학생과 교사는 동일 공분산 σ_t^2 I를 가지는 정규분포 전이를 유도한다고 가정하면 forward KL은 Δt^2 /(2 σ_t^2) 계수와 함께 속도 차의 제곱으로 표현된다. 따라서 목표는 v_θ( z̄_t,t,c)와 v_m( z̄_t,t,c)의 L2 차를 최소화하는 회귀 문제로 정리된다.

제시된 방법은 교사와 학생이 동일한 생성 상태 공간과 호환 가능한 속도 파라미터화를 공유한다는 가정을 전제로 한다. 논문 실험은 동일한 백본 계열과 잠재 표현, 스케줄러 관습을 사용한 소스들에 대해 수행되었으므로 이 가정이 충족되었다. 또한 구현에서 라우팅은 미리 정의된 능력 버킷에 의존하므로 작업 경계가 모호하거나 단일 프롬프트가 여러 능력을 동시에 요구하는 경우에는 라우팅 정책을 검증기나 보상 모델로 확장할 필요가 있다.