MeanFlowNFT: 평균-속도 생성기에 순방향 프로세스 기반 강화학습을 적용한 방법

몇 단계만으로 고품질 샘플을 만드는 MeanFlow 구조는 실질적 샘플 비용을 크게 낮추어 실제 배포 가능성을 높였다. 그러나 순방향 프로세스 기반의 보상 최적화는 순간 속도를 대상으로 설계되어 평균 속도 파라미터화와 직접적으로 맞지 않았다. 본 연구는 평균 속도 기반 생성기에서도 likelihood-free 순방향 RL을 적용하여 few-step 생성의 품질을 보존하면서 보상에 따른 정책 개선을 달성했다.

Flow Matching은 각 시점의 순간 속도 v_t를 모델링하여 노이즈에서 데이터로 이어지는 연속적 변화를 재현한다. 이 방식은 정확하지만 시간 축을 작은 단계로 세분화하여 순간 속도를 반복 평가해야 하므로 많은 네트워크 호출과 연산 비용이 발생한다. MeanFlow는 구간 [s,t]에 대한 평균 속도 u(x_t,s,t)를 직접 예측하여 한두 번의 큰 보간으로 샘플을 얻을 수 있게 하여 평가 비용을 획기적으로 줄인다.

MeanFlowNFT는 평균 속도 u_theta를 유지하되 MeanFlow 항등식 v(x_t,t)=u(x_t,s,t)+(t-s) d/dt u(x_t,s,t)를 활용해 u_theta로부터 유도된 순간 속도 예측기 V_theta(x_t,s,t)를 구성한다. 이 유도된 예측기는 u_theta와 총미분 항의 조합으로 정의되며, 이 예측기에 DiffusionNFT와 유사한 보상 가중 회귀 손실을 적용하여 positive/negative 샘플을 구분하는 방식으로 최적화한다. 실무적 구현에서는 총미분 항을 중앙 유한차분으로 근사하고 기준 모델의 도함수는 EMA 기반의 u_old에서 한 번만 계산하여 train/reference간 도함수 차이로 인한 불안정을 제거했다.

이미지 생성 실험에서 SD3.5-M 기준으로 MeanFlowNFT는 ImageReward 1.4504, CLIPScore 0.2967 등을 기록하여 동일한 few-step 범주에서 기존 distillation·few-step 방법들을 능가했다. 특히 4스텝으로 DiffusionNFT(40스텝)와 유사하거나 더 우수한 보상 지표(예: ImageReward 1.45 vs 1.41)를 획득하여 함수 평가 수를 10배 줄이면서 품질을 유지했다. 비디오 실험에서는 Wan2.1 1.3B에서 4스텝으로 VBench 84.33을 얻어 50스텝 LongCat-Video RL의 82.57보다 높은 총점과 여러 하위 지표에서 우수한 성능을 보였다.

전체 구조는 평균 속도 예측기 u_theta(x_t,s,t)를 중심으로 하며 이로부터 총미분 항을 더한 유도된 순간 속도 V_theta(x_t,s,t)=u_theta+(t-s)[∂_t u_theta + (∂_x u_theta) v̂_theta]를 정의한다. 여기서 v̂_theta는 s→t 한계에서의 u_theta 값으로 네트워크의 즉시 속도 추정치 역할을 하고, 실제 최적화는 유도된 순간 속도 V_theta에 대해 이루어진다. 이 구성은 최적화와 추론을 분리하여 학습은 순간 속도 공간에서 보상 신호를 반영하지만 추론은 평균 속도 u_theta를 사용해 few-step 샘플링을 유지한다.

논문은 DiffusionNFT 스타일의 순방향 보상 목적만을 MeanFlow에 적용한 범위에 국한되어 있다. 다른 순방향 목적 함수들(RAM, AWM 등)이나 MeanFlow 외의 flow-map 모델들에 대한 실험은 수행되지 않았다. 따라서 해당 확장 방향들의 실성능 및 안정성 보장은 본문 밖의 향후 연구 과제로 남아 있다.