DanceOPD: Flow-Matching 모델에서 온-정책 생성 필드 증류를 통한 다중 기능 합성

왜 중요한가

현대 이미지 생성은 하나의 배포 모델이 text-to-image, 로컬 편집, 글로벌 편집 같은 이질적 능력을 함께 지원할 것을 요구한다. 이들 능력은 동시 최적화 시 상호 간섭이 발생하여 한 능력을 강화하면 다른 능력이 약화되는 경향이 있다. DanceOPD는 각 능력을 속도 필드로 보고 학생이 자신의 롤아웃 상태에서 하드 라우팅된 필드를 단일 low-noise 쿼리로 학습하도록 하여 능력 합성을 달성했다.

핵심 기여

온-정책 생성 필드 증류 프레임워크 도입

논문은 여러 고정된 능력 소스를 상태 공간 위의 속도 필드로 취급하고 이를 하나의 학생 모델로 증류하는 온-정책 프레임워크를 도입했다. 각 학습 샘플은 정확히 하나의 능력 필드로 라우팅되고 학생 롤아웃에서 의미측 단일 상태를 쿼리하여 해당 필드의 속도를 목표로 MSE 손실로 회귀한다. 이 설계는 샘플 수준의 의미 정체성을 보존하면서 학생이 자체 방문 분포에서 직접 학습하도록 만든다.

세 가지 쿼리 유발 정렬 문제 규명 및 설계 해법

능력 합성 문제를 필드 쿼리 관점으로 재정의하면서 세 가지 핵심 정렬 문제를 규명했다. 첫째, 여러 필드를 하나의 샘플 목표로 평균하는 경우 목표 필드의 의미 정체성이 손상된다. 둘째, 오프-폴리시 상태에서 쿼리하면 학생이 실제 방문하는 상태 분포와 불일치가 발생한다. 셋째, 동일 롤아웃에서 다중 상태를 밀집 쿼리하면 상관된 감독 신호로 인해 편향이 생긴다.

하드 라우팅과 의미측 단일 쿼리의 실험적 유효성 검증

하드 라우팅과 학생-유도 의미측 단일 쿼리, 그리고 단순한 velocity MSE 목표 조합이 여러 벤치마크에서 유의미한 성능 향상을 보였다. T2I와 편집 합성 설정에서 GEditBench와 GenEval 지표에서 기존 OPD 대비 우수한 수치가 관찰되었고 realism-field 및 CFG 흡수 실험에서도 목표 능력을 강화하면서 앵커 능력을 보존했다. 상세한 ablation은 쿼리 시점, 롤아웃 길이, 밀집 쿼리 개수, 손실 가중치 등 설계 축의 민감도를 정량적으로 제시했다.

핵심 아이디어 이해하기

기본 출발점은 flow-matching 모델이 각 시간 스텝에서 상태를 다음 상태로 움직이는 속도 필드 v(z,t,c)를 학습한다는 관점이다. 서로 다른 능력 소스는 동일한 상태 공간에 서로 다른 속도 필드를 고정된 형태로 제공하며, 학생은 이들 필드를 동일한 공간에서 흉내 내도록 학습될 수 있다. 따라서 능력 합성 문제는 '어떤 필드를 샘플별로 선택할 것인가', '어떤 학생 상태에서 필드를 쿼리할 것인가', '한 롤아웃에서 몇 개의 상태를 사용할 것인가'라는 세 가지 쿼리 문제로 환원된다.

방법론

DanceOPD는 샘플-단위 하드 라우팅을 기본 정책으로 채택하여 각 학습 예제가 정확히 하나의 능력 필드로 연결되도록 설계되었다. 라우팅 확률 π(m)은 기본적으로 균등 분포를 사용하며 라우팅된 필드 u_m(z,t,c) = v_m(z,t,c)를 정답 속도로 취득한다. 학생은 현재 파라미터로 생성한 롤아웃 z_{0:T}^θ에서 의미측 좌표 s를 샘플링하여 대응하는 물리적 시간 t=t(s)에서 stop-gradient 처리한 상태 z̄_t를 얻고 이 상태에서 라우팅된 교사 속도를 쿼리한다.

주요 결과

주요 실험은 T2I와 편집 합성, 로컬·글로벌 편집 합성, realism-field 흡수, CFG 흡수의 네 가지 설정으로 구성되었다. T2I와 편집 합성에서 DanceOPD는 GEditBench 평균에서 재현된 최강 OPD 대비 8.1% 향상을 기록했고 편집 소스 대비 8.5% 향상을 보였다. 로컬·글로벌 편집 합성에서는 최강 경쟁 구성 대비 16.1% 개선을 보였고 realism-field 흡수에서는 오프-폴리시 증류보다 realism 보상이 9.9% 높아졌으며 학생과 교사의 보상 격차를 85.3%까지 메웠다.

기술 상세

목표 손실은 의미측 학생 상태에서의 단순한 속도 MSE로 정의되며 이는 로컬 가우시안 전이 가정을 통해 KL-스타일 지역 전이 매칭이 시간 가중 MSE로 환원된다는 수학적 근거를 가진다. 구체적으로 작은 역시간 스텝에서 학생과 교사는 동일 공분산 σ_t^2 I를 가지는 정규분포 전이를 유도한다고 가정하면 forward KL은 Δt^2 /(2 σ_t^2) 계수와 함께 속도 차의 제곱으로 표현된다. 따라서 목표는 v_θ( z̄_t,t,c)와 v_m( z̄_t,t,c)의 L2 차를 최소화하는 회귀 문제로 정리된다.

한계점

제시된 방법은 교사와 학생이 동일한 생성 상태 공간과 호환 가능한 속도 파라미터화를 공유한다는 가정을 전제로 한다. 논문 실험은 동일한 백본 계열과 잠재 표현, 스케줄러 관습을 사용한 소스들에 대해 수행되었으므로 이 가정이 충족되었다. 또한 구현에서 라우팅은 미리 정의된 능력 버킷에 의존하므로 작업 경계가 모호하거나 단일 프롬프트가 여러 능력을 동시에 요구하는 경우에는 라우팅 정책을 검증기나 보상 모델로 확장할 필요가 있다.

키워드

flow-matching(Flow-Matching)on-policy distillation(온-정책 증류)velocity MSE(속도 MSE)classifier-free guidance(CFG)multi-capability composition(다중 기능 합성)

용어 해설

속도 필드(Velocity Field): — Flow-matching 계열 모델에서 생성 과정은 연속 상태 공간 상의 벡터장으로 표현되는 속도 필드로 기술된다. 이 속도 필드는 특정 상태 z_t와 시간 t에서 다음 상태로 이동시키는 방향과 크기를 제공하며 로컬 가우시안 전이해석을 통해 MSE 형태로 회귀 대상이 된다. 여러 능력 소스는 동일한 상태 공간에서 서로 다른 속도 필드로 고정되어 학생이 이를 학습하여 합성 능력을 획득하도록 만든다.
온-정책 증류(On-Policy Distillation): — 학생 모델이 실제 생성 시 방문하는 롤아웃 상태에서 교사 신호를 취득하여 학습하는 증류 방식이다. 이 방식은 오프-폴리시로 수집한 고정된 상태와 학생이 실제 방문하는 상태 분포 간의 불일치를 줄여 배포 시 성능 저하를 완화한다. DanceOPD는 학생 롤아웃에서 한 지점을 선택해 해당 상태에서 라우팅된 교사 속도 필드를 쿼리하는 형태로 온-정책 증류를 수행한다.
의미측 쿼리(Semantic-Side Query): — 롤아웃의 노이즈 레벨이 낮아지고 의미적 정보가 집중되는 시점에 학생 상태를 선택하여 교사 필드를 쿼리하는 전략이다. 고노이즈 초기 상태는 일반적 노이즈 제거 신호가 우세하므로 의미적 편집 정보가 희석되며, 의미측 쿼리는 편집·스타일 신호의 SNR을 높인다. DanceOPD는 Beta 분포를 사용해 의미측 지점에서 단일 쿼리를 샘플링한다.
하드 라우팅(Hard Routing): — 각 학습 샘플을 정확히 하나의 고정된 능력 버킷(예: T2I, 로컬 편집, 글로벌 편집)으로 배정하여 해당 능력의 속도 필드만을 감독 신호로 사용하는 방식이다. 필드를 샘플 단위로 혼합하지 않으므로 샘플별로 의미적 정체성이 보존되고 목표 필드의 모호성이 제거된다. DanceOPD는 균등한 경로 확률을 기본으로 하드 라우팅을 수행한다.

DanceOPD: Flow-Matching 모델에서 온-정책 생성 필드 증류를 통한 다중 기능 합성

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

키워드

관련 토론

댓글

관련 피드