Mean 따라 흐름 매칭: 참조 기반 흐름 가이드를 통한 제어 가능한 생성

Flow matching의 엔드포인트 평균 이동으로 제어 신호를 얻을 수 있으며, 참조 은행을 바꿔 색상, 형태, 구조 등 다양한 속성을 추가 학습 없이도 조정할 수 있다. 이는 데이터 주도(adaptive) 방식으로 파라미터 업데이트 없이도 생성 품질을 유지하며, 실무에 즉시 적용 가능한 제어 인터페이스를 제공한다.

Flow matching에서 엔드포인트 평균 µ_t(x)은 샘플 경로의 방향을 결정한다. 선형 브리지를 가정하면 u_t(x) = (µ_t(x) − x)/(1 − t)로 표현되며, 엔드포인트 평균을 바꾸면 흐름을 그대로 따라간다. 본 논문은 대표 샘플의 엔드포인트 평균 µρ_t(x)를 이용해 목표 분포의 엔드포인트 평균 µπ_t(x)로의 변화를 정의하고, 이를 통해 속도장을 보정하는 방식으로 제어를 구현한다. 확률적 혼합을 통해 µπ_t(x) = (1 − γ_t)µ_t(x) + γ_tµρ_t(x)로의 형식적 근사를 얻고, 이를 u^π_t(x) = u_t(x) + γ_t c_t (µρ_t(x) − µ_t(x)) / (1 − t)로 구현한다. 이 방식은 외부 보상이나 classifier가 필요 없이 데이터 기반으로 컨트롤 신호를 생성한다. SPG는 같은 원리를 앵커-기반 교차 주의(attention)로 확장하고, 잔여 보정기를 추가로 학습해 참조 세트의 효과를 더 강건하게 유지한다.

단계별 요약

• 전체 접근 방식: affine(또는 선형) 브리지를 사용한 확률 경로에서 엔드포인트 평균 µ_t(x)와 쌍을 이루는 속도 u_t(x)를 정의한다. [입력] x0 ∼ p0, x1 ∼ p1, xt = α_t x0 + β_t x1. [출력] 샘플 x1에 대해 xt = x인 조건부에서의 평균을 구해 u_t(x) = E[ x˙_t | x_t = x ].
• 근거-평균 제어(RMG): ρ1에 의해 정의된 참조 은행 R로부터 µ̂_ρ_t(x)를 계산하고, β_t(또는 γ_t) 스케줄에 따라 u^π_t(x) ≈ u^θ_t(x) + β_t (µ̂_ρ_t(x) − µ^θ_t(x)) /(1 − t)로 보정한다. 이는 엔드포인트 평균의 차이를 통해 흐름을 조정하는 방식이다.
• 지수적 혼합의 대안: p̂_λ = (1 − λ) p1 + λ ρ1를 이용한 엔드포인트 수준의 산술 혼합 역시 같은 보정 효과를 낸다. 이때 µ^λ_t(x) = (1 − ω^_t(x)) µ_t(x) + ω^_t(x) µ^ρ_t(x)이며, ω^*_t(x) = λ ρ_t(x) / ((1 − λ) p_t(x) + λ ρ_t(x)).
• SPG의 구현: x¯ = Attn(q̃, k̃, ṽ)로 교차 어텐션으로 앵커를 계산하고, µ_θ_t(xt, R) = (1 − g_t) xt + g_t x¯ + α_t f_θ(x¯, xt, t)로 최종 엔드포인트를 예측한다. Leave-one-out 구조(L)와 보정 손실 Lµ, Lref를 합쳐 학습한다.

주요 실험 요약

• Mechanistic validation: 2-moons 데이터에서 참조 은행의 구성이 흐름 필드를 명확하게 좌우하며, M=5의 소수 참조로도 hard-filter 근사에 접근한다. MNIST(0/1)에서도 M=50의 soft-labeled 참조로 분류 제어가 가능하다.
• FLUX.2-klein(4B)에서 RMG를 적용하면 제어 가능한 출력의 변화가 Prompts에 따라 색상, 객체 정체성, 스타일에 대해 구조적으로 일관되게 나타난다. GenEval에서 20-이미지 은행으로 구성된 참조 은행이 텍스트-프롬프트와 독립적으로 구조적 제어를 가능하게 한다. SPG는 AFHQv2에서 DiT-B/4와 동일 수준의 unconditional 품질을 유지하면서 참조 은행의 구성에 따른 제어를 가능하게 한다.
• 실험은 또한 reference-set의 크기(M)가 커질수록 LPIPS 다양성이 증가하고, 참조 세트의 조합(예: 색상/형태/구조)으로 출력 분포를 연속적으로 조절할 수 있음을 보여준다.

A-layer: 논문은 affine 브리지를 일반화된 형태로 제시하며, xt = αt x0 + βt x1에서 αt, βt의 도함수들에 의해 ut(x)와 µt(x)의 관계를 도출한다. A.1에서 제시한 prop 3.1의 증명은 uv_t(x) = atx + ct µ_t(x) 형태를 도출한다. A.2: µ̂_t(x) = Σ_n w_t^(n)(x) x^(n)로 근사가능하며, w_t^(n)(x) = softmax_n [−||x − t x^(n)||^2/(1−t)^2]의 형태로 도출된다. A.3: reference-mean guided dynamics에서 π_t(x) = pt(x|x1) π(x1) dx1를 도입하고, score-to-mean 맵을 이용해 µ^π_t(x) = (1 − γ_t) µ_t(x) + γ_t µ_ρ_t(x)로 설정한다. 이를 u^π_t(x) = atx + ct µ^π_t(x)로 변환하고, geometric mixture의 경우 γt를 이용해 최종 보정 u^π_t(x) = ut(x) + γt ct (µ_ρ_t(x) − µ_t(x))/(1 − t)로 표현한다. A.4: 엔드포인트 레벨의 기하학적 혼합은 π(x1) ∝ p1(x1)^(1−γt) ρ1(x1)^(γt)로 정의되며, Gaussian 브리지 하에서 µ^π_t(x) = (1 − γt) µ_t(x) + γt µ^ρ_t(x)로 수렴한다. SPG 구현은 교차-attention으로 x¯를 산출하고, Lµ, Lref의 손실로 anchor와 refiner를 함께 학습한다. SPG의 실험은 AFHQv2에서 참조-은행 기반의 제어를 수행하면서도 질은 DiT-B/4와 동등하게 유지한다.

참조-평균 가이드는 참조 세트의 품질에 크게 의존하며, 큰 은행의 계산 비용이 증가한다. 참조 세트에서 nuisance artifacts가 포함될 수 있으며, SPG는 잔여 보정기를 통해 이를 완화하지만 여전히 domain-specific 설계가 필요하다.