DiffusionOPSD로 확산 모델 보상을 중간 예측 목표로 변환

왜 중요한가

확산 모델을 사람의 선호나 특정 작업 목표에 맞추려면 최종 이미지의 endpoint reward를 중간 denoising 과정까지 전달해야 합니다. DiffusionOPSD는 reward gradient에서 중간 clean-output prediction을 위한 명시적 목표를 만들고, 이를 지속적으로 갱신되는 감독 신호로 사용합니다. SD 3.5-M과 Z-Image-Turbo에서 20개 reward-matched 설정 중 19개에서 최종 held-out score가 가장 높았고, DiffusionNFT 대비 GPU-hours도 각각 40%와 63% 줄었습니다.

핵심 기여

이미지 보상을 중간 예측 목표로 변환

DiffusionOPSD는 최종 이미지 수준의 reward만 주어지는 문제를 sampled query의 clean-output prediction 목표 생성 문제로 바꿉니다. 고정된 behavior policy가 만든 anchor 주변에 reward gradient 기반의 제한된 positive target과 negative target을 배치합니다. 그 결과 중간 denoising 단계가 직접 맞출 수 있는 detached supervision이 구성됩니다.

목표 구성과 실제 fitting의 분리

각 외부 반복에서 target construction으로 얻은 잠재적 개선과 trainable policy가 유한한 업데이트로 실제 구현한 개선을 분리해 측정합니다. 같은 query를 통제한 실험에서 큰 target-construction gain이 한 번의 fitting 뒤 더 큰 realized gain으로 항상 이어지지는 않았습니다. 이 분리는 보상 목표의 품질과 모델 최적화의 실현 정도를 별도 축으로 평가하게 합니다.

두 diffusion backbone과 열 명의 evaluator에서 성능 검증

DiffusionOPSD는 SD 3.5-M과 step-distilled Z-Image-Turbo를 대상으로 두 backbone과 ten evaluators에 걸친 reward-matched 설정에서 평가됐습니다. 20개 설정 중 19개에서 최종 held-out score가 가장 높았고, 가장 강한 경쟁 방법보다 최대 44.0% 높은 결과를 기록했습니다. 학습 비용도 DiffusionNFT 대비 SD 3.5-M에서 40%, Z-Image-Turbo에서 63% 감소했습니다.

핵심 아이디어 이해하기

확산 모델은 noisy image를 여러 denoising 단계에서 clean-output prediction으로 복원하지만, endpoint reward는 마지막 이미지의 점수만 알려주고 중간 예측을 어느 방향으로 바꿀지는 직접 지정하지 않습니다. 기존의 gradient descent가 최종 손실을 줄이는 방향으로 가중치를 움직이려면 각 학습 지점에 비교적 구체적인 오차 신호가 필요하듯, 이 문제에도 중간 query별 목표가 필요합니다. DiffusionOPSD는 frozen behavior policy가 trajectory와 anchor를 만들고, reward gradient를 anchor 주변의 bounded positive·negative target으로 변환해 이 빈틈을 채웁니다. Trainable policy는 이 목표를 detached supervision으로 유한 fitting한 뒤 exponential moving average로 behavior policy를 갱신하므로, 최종 보상이 중간 예측 목표로 바뀌고 다음 반복의 데이터에도 반영됩니다.

방법론

각 outer iteration에서 먼저 frozen behavior policy가 현재 확산 생성 과정을 실행해 trajectory를 만들고, 그 안의 query state와 anchor를 기록합니다. 이 과정은 학습 정책이 아직 바뀌기 전의 분포에서 입력 상태와 기준 예측을 확보하기 위한 것입니다. 이후 이미지 수준 reward의 gradient를 사용해 각 anchor 주변에 bounded positive target과 negative target을 구성합니다. 원래 endpoint에만 있던 보상 방향을 query별 clean-output prediction이 맞출 수 있는 명시적 표적으로 바꾸는 단계입니다.

구성된 target은 trainable policy에 detached supervision으로 전달됩니다. 정책은 목표를 무한히 최적화하는 대신 finite fitting을 수행하므로, 한정된 업데이트 뒤 실제 예측이 target에 얼마나 가까워지는지 측정할 수 있습니다. 이 절차를 통해 target construction이 만든 잠재적 변화와 fitting이 실현한 변화를 구분합니다. 같은 query를 고정한 통제 실험은 이 두 값이 반드시 같은 크기로 움직이지 않음을 확인합니다.

fitting이 끝나면 trainable policy의 상태를 exponential moving average로 반영해 다음 반복의 behavior policy를 갱신합니다. 새 behavior policy는 다시 trajectory, query state, anchor를 공급하므로 중간 감독 목표가 고정된 데이터가 아니라 현재 정책 분포에 맞춰 계속 새로 만들어집니다. 이 입력·변환·학습·갱신 순환이 on-policy self-distillation의 핵심 흐름입니다.

주요 결과

DiffusionOPSD는 SD 3.5-M과 step-distilled Z-Image-Turbo라는 두 diffusion backbone에서 평가됐습니다. 두 backbone과 ten evaluators를 조합한 20개 reward-matched 설정 가운데 19개에서 최종 held-out score가 가장 높았습니다. 이는 endpoint reward를 중간 prediction target으로 바꾸는 방식이 서로 다른 backbone과 평가 기준에서 일관된 최종 성능으로 이어졌음을 뜻합니다.

가장 강한 competing method와 비교했을 때 성능 향상 폭은 최대 44.0%였습니다. 비교 수치는 reward-matched 설정별 최종 held-out score를 기준으로 산출됐으며, 모든 설정에서 같은 폭의 개선을 뜻하지는 않습니다. 따라서 최대값은 방법의 최고 개선 사례를 나타내고 전체 설정의 평균 개선폭으로 해석해서는 안 됩니다.

학습 비용은 DiffusionNFT 대비 SD 3.5-M에서 GPU-hours 40%, Z-Image-Turbo에서 63% 감소했습니다. 입력 trajectory에서 목표를 만들고 유한 fitting을 수행한 뒤 EMA로 정책을 갱신하는 구조가 성능과 비용을 함께 평가할 수 있는 실험 기반을 제공합니다. 같은-query 실험에서는 target-construction gain이 커도 한 번의 fitting 뒤 realized gain이 그만큼 커지지 않을 수 있음이 확인됐습니다.

기술 상세

DiffusionOPSD의 입력은 frozen behavior policy가 생성한 trajectory, 그 안의 query state, 그리고 각 query의 anchor입니다. reward gradient는 anchor를 기준으로 보상이 증가하는 방향과 감소하는 방향을 사용해 bounded positive target과 negative target을 구성합니다. trainable policy는 이 target을 detached supervision으로 받아 clean-output prediction을 fitting하며, gradient가 목표 구성 단계로 역전파되도록 두지 않습니다. 출력은 제한된 fitting 이후의 정책이며, 이 정책은 exponential moving average를 거쳐 다음 outer iteration의 behavior policy가 됩니다.

핵심 차이는 image-level reward를 정책 전체에 직접 적용하는 대신 중간 denoising prediction에 대응하는 명시적 target으로 변환하는 데 있습니다. anchor는 현재 behavior policy가 실제로 방문한 query의 기준 예측이고, reward gradient는 그 기준점에서 어느 방향의 예측이 더 높은 보상으로 이어지는지 제공합니다. bounded target은 변화량을 제한한 positive·negative supervision으로 작동하므로, 입력 query에서 목표 예측을 만들고 이를 trainable policy가 맞춘 뒤 새 정책으로 반환하는 계산 흐름이 형성됩니다.

논문은 target construction과 finite realization을 별도 변수처럼 취급합니다. 전자는 reward gradient가 anchor 주변에 만든 목표 자체의 개선량이고, 후자는 trainable policy가 한 번의 fitting update 뒤 실제로 달성한 개선량입니다. 같은 query를 유지한 실험에서 전자가 커져도 후자가 비례해 커지지 않았으므로, 보상 방향의 품질만으로 최종 정책 개선을 판단할 수 없습니다.

behavior policy 갱신에는 exponential moving average가 사용됩니다. 한 반복에서 trainable policy가 target을 fitting한 뒤 그 상태를 즉시 고정 정책으로 대체하지 않고 EMA로 누적해 다음 trajectory 생성에 반영합니다. 이 갱신은 on-policy 자료와 중간 목표를 계속 새로 만드는 연결부이며, SD 3.5-M과 Z-Image-Turbo에서 성능 및 GPU-hours 비교의 기반이 됩니다.

실무 활용

DiffusionOPSD는 최종 이미지 보상만 확보된 diffusion post-training 환경에서 중간 denoising 예측을 학습시킬 때 사용할 수 있습니다. behavior policy가 생성한 실제 trajectory에서 query와 anchor를 얻고 reward gradient로 목표를 만들기 때문에, 보상 신호가 중간 단계에 어떻게 전달되는지 별도로 측정할 수 있습니다. 논문에 제공된 GitHub 저장소를 통해 구현과 재현을 시도할 수 있습니다.

사람의 선호도나 작업별 reward에 맞춘 diffusion image post-training
SD 3.5-M에서 endpoint reward를 중간 denoising supervision으로 변환하는 학습 실험
Z-Image-Turbo 같은 step-distilled diffusion backbone의 reward alignment
target construction gain과 finite fitting의 realized gain을 분리하는 통제 실험

코드 공개 여부: 공개

코드 저장소 보기

키워드

DiffusionOPSD(확산 모델 후학습 프레임워크)On-Policy Self-Distillation(온폴리시 자기 증류)Diffusion Models(확산 모델)Reinforcement Learning(강화학습)Endpoint Rewards(종단 보상)Denoising Prediction(Denoising 예측)Reward Gradients(보상 gradient)Finite Fitting(유한 fitting)

용어 해설

온폴리시 자기 증류(On-Policy Self-Distillation): — 현재 학습 중인 정책이 실제로 생성한 궤적을 학습 자료로 삼아 자기 자신을 갱신하는 방식입니다. DiffusionOPSD에서는 고정된 행동 정책이 생성한 상태와 기준점을 이용해 보상 기반의 중간 예측 목표를 만들고, 학습 정책이 이를 맞추도록 업데이트합니다.
종단 보상(Endpoint Reward): — 생성 과정의 마지막 이미지에 대해 품질이나 선호도를 평가하는 보상입니다. 중간 denoising 단계의 예측을 직접 지정하지 않으므로, 보상 신호를 중간 단계의 학습 목표로 변환하는 추가 절차가 필요합니다.
Denoising 예측(Denoising Prediction): — 확산 모델이 현재 noisy 상태에서 깨끗한 출력 또는 다음 복원 방향을 예측하는 값입니다. 이 논문에서는 reward gradient를 이용해 기준점 주변의 양·음의 목표를 만들고, 해당 예측을 직접 학습시키는 감독 신호로 사용합니다.
행동 정책(Behavior Policy): — 현재 학습 데이터를 생성하는 고정된 확산 정책입니다. 각 외부 반복에서 trajectory와 query state, anchor를 공급하며, 학습 정책의 업데이트가 끝난 뒤 exponential moving average로 새 상태를 반영합니다.
보상 gradient(Reward Gradient): — 생성된 이미지의 보상이 변하는 방향을 나타내는 미분 신호입니다. DiffusionOPSD는 이 신호를 기준점 주변의 제한된 positive target과 negative target으로 바꾸어 image-level 보상을 중간 denoising 예측의 학습 목표로 변환합니다.
유한 fitting(Finite Fitting): — 새로 만든 목표를 학습 정책이 한 번 또는 제한된 횟수의 업데이트로 얼마나 실현하는지 측정하는 절차입니다. 목표 구성 단계에서 얻은 개선량과 실제 fitting 이후의 개선량을 분리해, 보상 신호가 모델에 전달되는 정도를 따로 평가할 수 있습니다.

DiffusionOPSD로 확산 모델 보상을 중간 예측 목표로 변환

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

온-폴리시 자기 증류(On-Policy Self-Distillation) 연구 및 최신 동향 분석.

AgentOPSD: 로그오즈 기반 재귀적 자기증류로 턴 신용 복원

온폴리시 자기 증류를 통한 AI 모델의 지속적 학습 및 성능 개선

Self-OPD: 교사 모델 없는 흐름 매칭 모델을 위한 온폴리시 증류 프레임워크.

다수결로 정답을 만드는 비지도 Self-Distillation

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

관련 토론

댓글

관련 기사

온-폴리시 자기 증류(On-Policy Self-Distillation) 연구 및 최신 동향 분석.

AgentOPSD: 로그오즈 기반 재귀적 자기증류로 턴 신용 복원

온폴리시 자기 증류를 통한 AI 모델의 지속적 학습 및 성능 개선

Self-OPD: 교사 모델 없는 흐름 매칭 모델을 위한 온폴리시 증류 프레임워크.

다수결로 정답을 만드는 비지도 Self-Distillation