TL;DR
강화학습 기반의 후학습은 보상 지표를 향상시키면서도 실제 시각적 품질을 악화시키는 사례가 빈번하게 관찰되었다. 본문은 RL 후학습에서 per-step velocity norm의 구조적 인플레이션을 규명하고, 이 인플레이션이 보상과 분리된 채 시각적 아티팩트를 유발함을 실험적으로 확인했다. 이 문제에 대해 추론 시 보정은 불충분했으며 훈련 시점에서의 선택적 노름 억제가 품질 개선과 보상 보존을 동시에 달성하는 해결책임이 검증되었다.
왜 중요한가
강화학습 기반의 후학습은 보상 지표를 향상시키면서도 실제 시각적 품질을 악화시키는 사례가 빈번하게 관찰되었다. 본문은 RL 후학습에서 per-step velocity norm의 구조적 인플레이션을 규명하고, 이 인플레이션이 보상과 분리된 채 시각적 아티팩트를 유발함을 실험적으로 확인했다. 이 문제에 대해 추론 시 보정은 불충분했으며 훈련 시점에서의 선택적 노름 억제가 품질 개선과 보상 보존을 동시에 달성하는 해결책임이 검증되었다.
핵심 기여
RL 후학습에서의 일관된 per-step velocity-norm 인플레이션 규명
여러 후학습 기법(NFT, AWM, DPO)과 두 개의 베이스 모델에서 per-step velocity norm이 사전학습 기준보다 일관되게 5%에서 15% 수준으로 증가함이 관찰되었다. 이 인플레이션은 디노이징 궤적 전반에 걸쳐 균일하게 나타났으며 이미지의 과도한 샤프닝, 색상 과포화, 비정상적 조명 같은 공통된 시각적 아티팩트와 연관되어 있었다. 이러한 정량적 관찰은 문제를 전체 파라미터 차이(MSE나 KL)로만 다루기에는 불충분하다는 근거를 제공했다.
추론 시 노름 재정규화의 한계와 배치 수준 민감도 분석 결과
CFG에서 적용되는 추론 시 노름 재정규화는 CFG 인플레이션을 제거하는 데 성공했으나 RL로 파인튜닝된 모델에는 적용해도 시각적 품질 개선이 일어나지 않았다. 어조인트 민감도 분석을 통해 노름 스케일링의 1차 보상 민감도 S(t)=v_theta(x_t,t)^T a(t)를 계산했으며, 배치 평균은 거의 0이고 샘플 간 잡음비 σ/|μ|가 3×에서 100×까지 분포함이 확인되었다. 이 결과는 노름 억제가 일관된 보상 손실을 제거할 것이라는 기대가 성립하지 않음을 제시했다.
NormGuard: 과도한 속도 노름만을 목표로 하는 훈련 시 힌지 규제 도입과 실험적 유효성
논문은 훈련 손실에 한쪽 힌지 형태의 규제항 R_norm(θ)=λ·max{0,(||v_theta||^2-||v_ref||^2)/||v_ref||^2}를 추가하는 NormGuard를 도입했다. 이 규제는 velocity 출력 공간에서만 작용하며 기준 노름을 초과하는 경우에만 활성화되어 방향성 갱신(directionally-aligned updates)을 크게 방해하지 않았다. 두 개의 베이스 모델, 세 가지 후학습 방법, 두 가지 보상 함수를 대상으로 한 평가에서 NormGuard는 MLLM 판정 기반 품질 및 포렌식 실루션 점수를 대체로 향상시키면서 PickScore와 HPSv2 보상은 크게 손상하지 않았다.
핵심 아이디어 이해하기
출발점은 flow-matching 계열 생성모델의 출력 공간이 velocity 벡터라는 점이다. 모델은 각 시점 t에서 노이즈 상태 x_t에 대한 속도 v(x_t,t)를 예측하고 이 예측을 통해 역방향 ODE/샘플링을 수행한다. RL 기반 후학습은 이 출력 공간의 로컬 잔차(residual)를 재가중(reweight)하여 보상 신호를 반영하므로 velocity의 크기와 방향성 모두가 학습에 영향을 미친다. 논문은 이 구조에 주목하여 노름 크기(radial component)와 방향(angular component)을 분리해 사고했다.
방법론
논문은 세 가지 분석 흐름을 병행했다. 첫째, RL 후학습 전후의 per-step velocity norm을 직접 측정해 5%~15% 수준의 일관된 인플레이션을 수치로 제시했다. 둘째, classifier-free guidance(CFG)와 유사한 추론 시 재정규화(v_theta' := ||v_ref||/||v_theta|| * v_theta)를 적용해도 RL 파인튜닝 모델에서는 시각적 품질이 개선되지 않음을 실험으로 확인했다. 셋째, 보상에 대한 1차 민감도 도구로써 어조인트 민감도 S(t)=v_theta(x_t,t)^T a(t)를 계산해 배치 수준 평균이 거의 0이고 샘플간 잡음비가 매우 큼을 확인했다. 이 세 결과는 추론 시 보정이 적절치 않으며 훈련 시점의 구조적 제약이 필요하다는 결론으로 이어졌다.
관련 Figure
이 다이어그램은 문제 인식에서 해결책까지의 논리적 연결을 시각화한다. 좌측은 RL 후학습에서 velocity-norm이 증가하는 현상을, 중앙은 CFG 환경에서의 추론 시 재정규화가 작동하는 메커니즘을, 우측은 NormGuard의 힌지 페널티가 활성화되는 조건을 보여준다. 그림은 수식적 정의와 실험 분석이 동일한 출력 공간(velocity)에 작용함을 명확히 연결한다.
아이디어 도식으로 norm inflation 현상, CFG의 추론 시 보정 한계, 그리고 NormGuard의 훈련 시 규제 흐름을 배치도로 나타낸다.
주요 결과
주요 실험은 SD3.5-Medium과 FLUX.2-4B를 베이스로 NFT, AWM, DPO 세 방법과 PickScore 및 HPSv2 보상 모델 조합으로 수행되었다. MLLM 판정(Qwen3.5 및 GPT-4.1)에 따르면 NormGuard 적용 모델은 모든 실험 설정에서 비규제 모델보다 쌍비교 우위를 보였고 포렌식 실측(RealScore)에서도 7개 설정 중 6개에서 개선이 관찰되었다. 보상 측면에서는 PickScore 차이가 -0.003에서 +0.011, HPSv2 차이가 -0.004에서 +0.001 범위를 유지하여 보상 손실이 크지 않음을 확인했다.
관련 Figure
이 그림은 RL 후학습이 초래한 시각적 아티팩트와 NormGuard 적용 시 개선된 에지 및 색조 보존을 직관적으로 대조한다. 시각적 차이는 논문에서 정량화한 노름 억제 효과와 대응되며 few-step 추론에서 개선 폭이 더 크게 나타나는 실험적 관찰을 보강한다. 시범 이미지들은 품질 평가에 사용된 MLLM 판정 결과와 정성적 일치를 보였다.
원문 Figure로, NormGuard 적용 전후의 예시 이미지들을 비교해 과도한 샤프닝과 색상 이상이 완화된 결과를 보여준다.
이 이미지들은 RL 후학습이 유발한 공통적 시각적 결함군을 집약해 보여주며 NormGuard가 타깃으로 삼는 증상군과 직접적으로 연결된다. 시각적 아티팩트는 포렌식 검출 점수(RealScore)와 MLLM 기반 품질 점수의 차이를 통해 정량검증되었다. 그림은 논문 주장의 직관적 근거를 제공하여 정량 결과의 해석을 돕는다.
Artifact 사례들을 모아 과도한 샤프닝과 비정상적 조명을 보여주는 비교 이미지들이다.
그리드는 SD3.5와 FLUX.2 기반 실험 전반에서 NormGuard가 일관되게 시각적 품질을 개선함을 사례별로 보여준다. 몇몇 설정에서 포렌식 점수와 MLLM 선호가 모두 개선된 반면, AWM 설정에서는 MLLM 선호가 커지고 일부 포렌식 점수는 소폭 하락한 사례가 있어 평가 축들이 완전히 일치하지 않음을 드러낸다. 이 시각 자료는 표와 차트의 정량 결과를 보완하는 역할을 했다.
다양한 모델과 후학습 구성에서 Baseline과 NormGuard 적용 결과를 나란히 비교한 샘플 그리드이다.
기술 상세
NormGuard의 규제항은 각 (x_t,t,c) 샘플에 대해 R_norm(θ;x_t,t,c)=λ·max{0,(||v_theta||_2^2-||v_ref||_2^2)/||v_ref||_2^2}로 정의된다. 이 항의 그래디언트는 활성화 구간에서 J_theta^T v_theta 형태로 로컬 velocity를 통해 업데이트에 기여하므로 파라미터 공간의 전역적 MSE 제약과 달리 출력 공간의 반경 성분만을 선택적으로 억제한다. 하이퍼파라미터 λ는 규제 강도를 조절하며 논문에서는 λ∈{0,0.1,1,10} 범위를 탐색해 λ=1에서 균형이 잘 맞는 결과를 보고했다.
관련 Figure
차트는 S(t)의 샘플별 분산이 매우 크고 배치 평균은 거의 0임을 수치적으로 보여준다. 이 결과는 uniform 노름 스케일링이 일관된 보상 신호를 제공하지 못함을 정량적으로 지지하며 배치 수준에서 노름 억제가 보상 손실을 일관되게 초래하지 않을 가능성을 뒷받침한다. 차트의 잡음 대 신호비 σ/|μ|가 3×~100× 범위임이 본문 수치와 일치한다.
두 보상 모델(PickScore, HPSv2)에 대한 노름 스케일링 민감도 S(t)의 시간별 분포와 배치 평균을 나타내는 차트이다.
한계점
논문은 노름 인플레이션의 동적 기원을 명확히 규정하지 못했으며 이 점을 향후 연구 과제로 남겼다. 보상 중립성 주장은 배치 수준의 1차 민감도 분석에 근거한 것으로, 개별 샘플 수준의 영향은 존재할 수 있음을 본문에서 인정했다. 또한 NormGuard는 velocity-local post-training 손실 템플릿(NFT, AWM, DPO)에 적합하도록 설계되었으며 trajectory-level 목적함수(예: Flow-GRPO)의 경우 적용·평가가 별도로 요구된다.
실무 활용
NormGuard는 flow-matching 기반 생성모델의 RL 후학습 파이프라인에 규제항 하나를 추가하는 방식으로 현행 학습 절차와 호환된다. 규제는 모델 출력(velocity) 공간에서 동작하므로 LoRA 등 출력 재파라미터화와 함께 사용 가능하며 크게 추가 연산 비용을 요구하지 않았다. 논문 실험은 여러 모델과 보상, 후학습 알고리즘에서 일관된 품질 향상을 보고했다.
- 텍스트-투-이미지 서비스에서 사용자 선호 보상으로 후학습을 수행할 때 시각적 아티팩트(과도한 샤프닝, 비정상 색조) 감소
- 생성 이미지의 포렌식 실루션(실제성 판단) 민감도를 유지하면서 MLLM 기반 미적 품질 향상
- 적은 추론 스텝(few-step inference)을 사용하는 경량화된 샘플링 설정에서 품질 안정성 확보
코드 공개 여부: 비공개
키워드
용어 해설
- Flow-Matching
- — 확률적 노이즈-조건 생성과정에서 상태의 시간미분(velocity)을 직접 학습하는 프레임워크이다. 모델은 각 시점의 noisy 상태 x_t와 시간 t를 입력으로 받아 목표 속도 v(x_t,t)을 예측하고, 이 예측치를 통해 역방향 샘플링이 가능해진다. 본문에서는 flow-matching 출력 공간(velocity)에 대한 국소적 손실 구조가 핵심 가정으로 작용한다.
- Velocity Norm
- — flow-matching 모델의 출력인 velocity 벡터 v(x_t,t)의 유클리드 노름 ||v||를 의미한다. 논문은 RL 후학습이 각 디노이징 타임스텝별로 이 노름을 5%~15% 수준으로 증가시키는 현상을 중심으로 다룬다. 노름 증가는 샘플링에서 과도한 단계 크기 효과로 이어져 과도한 샤프닝 및 색상 왜곡을 유발했다.
- Classifier-Free Guidance
- — 조건부 생성과 무조건부 생성 출력을 가중 합해 guidance scale ω로 조정하는 추론기법이다. 이 방법은 추론 시 velocity의 크기를 인위적으로 키워 샘플링 궤적을 조정하며, ω>1일 때 velocity의 노름이 증가해 오버슈팅과 시각적 아티팩트를 초래한 사례가 보고되었다. 본문에서는 이 경우에 적용되는 추론 시 노름 재정규화와 RL 인플레이션의 차이를 비교했다.
- Adjoint Sensitivity
- — 연속-시간 역전파 표현에서 보상 변화에 대한 velocity 변동의 1차 민감도를 계산하는 방식이다. 논문에서는 보상에 대한 노름 스케일링 민감도 S(t)=v_theta(x_t,t)^T a(t)를 도입하여 배치 수준에서 평균 신호가 거의 0이며 샘플간 잡음비가 3×~100×에 이른다는 사실을 보고했다. 이 분석은 노름 억제가 일관된 보상 손실을 유발하지 않을 가능성을 시사했다.
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.