ViPO: 대규모 시각적 선호도 최적화

기존의 시각적 선호도 데이터셋은 품질이 낮고 상충되는 신호가 많아 모델 학습을 방해하는 한계가 있었다. 이 논문은 데이터의 노이즈에 따라 학습 강도를 조절하는 Poly-DPO 알고리즘과 대규모 고품질 데이터셋인 ViPO를 통해 시각 생성 모델의 정렬 성능을 획기적으로 높였다.

기존의 Diffusion-DPO는 이진 분류 문제로 해석될 수 있으며, 이는 수학적으로 Cross-Entropy Loss와 유사한 형태를 띤다. 하지만 실제 데이터셋에는 미학적 점수는 높지만 텍스트 일치도는 낮은 이미지처럼 서로 상충되는 선호 신호가 섞여 있어, 모델이 일관된 패턴을 학습하기 어렵게 만든다.

이 논문은 Cross-Entropy Loss를 Taylor Expansion으로 분해했을 때 나타나는 첫 번째 다항식 항에 주목했다. 여기에 알파(alpha)라는 하이퍼파라미터를 도입하여, 모델이 예측에 확신이 없는 샘플(확률 0.5 근처)의 그래디언트를 증폭시키거나 확신이 너무 강한 샘플의 영향력을 줄이도록 설계했다.

결과적으로 Poly-DPO는 데이터가 지저분할 때는 학습이 가능한 경계선상의 샘플에 집중하게 만들고, 데이터가 너무 쉬울 때는 뻔한 차이만 학습하고 멈추지 않도록 유도한다. 이는 마치 학생의 수준과 문제의 난이도에 따라 학습 전략을 유동적으로 바꾸는 맞춤형 교육과 같은 원리이다.

Poly-DPO는 표준 DPO 손실 함수에 다항식 확장 항을 추가한 형태이다. [모델의 예측 확률 p와 하이퍼파라미터 알파를 입력으로] → [알파 * (1 - p) 연산을 수행하여 기존 손실에 더하고] → [최종 Poly-DPO Loss를 산출하며] → [이 값은 예측 확신도에 따라 그래디언트 크기를 조절하는 역할을 수행한다]. 구체적으로 알파가 0보다 크면 확신이 낮은 샘플의 가중치를 높여 노이즈가 섞인 데이터에서도 유의미한 신호를 추출하게 돕는다.

ViPO 데이터셋 구축은 최신 생성 모델을 활용한 파이프라인을 따른다. [다양한 프롬프트를 입력으로] → [FLUX.1-dev, WanVideo 등 여러 모델로 이미지/비디오 쌍을 생성하고] → [Qwen2.5-VL 등 고성능 VLM을 통한 다수결 투표로 선호도 라벨을 할당하여] → [고해상도의 정제된 선호도 데이터를 확보한다]. 이미지 데이터는 Aesthetics, Text-Image Alignment, Text Rendering, Portrait Quality, Composition의 5개 카테고리로 분류되어 균형 잡힌 학습을 지원한다.

Pick-a-Pic V2와 같은 노이즈가 많은 데이터셋에서 Poly-DPO는 Diffusion-DPO 대비 GenEval 벤치마크에서 SD1.5 기준 6.87점, SDXL 기준 2.32점의 성능 향상을 기록했다. 특히 PickScore와 HPSv2.1 지표에서 각각 4.4%, 13.1%의 개선을 보이며 기존 방법론을 압도했다.

ViPO 데이터셋으로 학습한 경우 성능 향상은 더욱 두드러졌다. SD1.5 모델은 기존 오픈소스 데이터셋 학습 결과보다 훨씬 높은 성능을 달성했으며, SD3.5-Medium 모델 역시 ViPO 학습 후 GenEval 점수가 0.69에서 0.83으로 크게 상승했다. 비디오 모델인 Wan2.1 역시 VBench 벤치마크의 거의 모든 지표에서 일관된 성능 향상을 보였다.

Poly-DPO의 핵심은 Poly Loss 설계를 DPO 프레임워크에 이식한 것이다. 수학적으로 L_Poly-DPO = -log(p) + alpha(1 - p)로 정의되며, 여기서 p는 모델이 정답(선호되는 샘플)을 맞출 확률이다. 이 식의 그래디언트를 분석하면 -(1 - p)(1 + alpha*p)가 되어, alpha 값에 따라 확률 p에 따른 그래디언트의 감쇄 속도가 결정된다. alpha > 0일 때는 p가 0.5 근처인 샘플의 그래디언트가 표준 DPO보다 2~3배 커지며, 이는 모델이 모호한 샘플에서 더 강하게 학습하도록 강제한다.

데이터셋 구축 시 VLM(Vision-Language Model)을 활용한 자동 라벨링의 신뢰성을 검증하기 위해 인간 평가자와의 일치도를 분석했다. VLM은 이미지 작업에서 84.0%, 비디오 작업에서 71.7%의 정확도를 보였으며, 특히 미학(Aesthetic) 평가에서는 95.0%의 높은 일치도를 기록했다. 이는 대규모 데이터셋 구축 시 고비용의 인간 라벨링을 VLM 기반의 다수결 투표 시스템으로 효과적으로 대체할 수 있음을 시사한다.

선호도 라벨이 전적으로 AI 모델(VLM)에 의해 생성되었기 때문에, VLM 자체의 편향이 데이터셋에 투영되었을 가능성이 있다. 또한 Poly-DPO의 최적 하이퍼파라미터 알파를 찾기 위해 그리드 서치가 필요하며, 이는 데이터셋의 노이즈 수준에 따라 달라질 수 있다는 점이 한계로 지목된다.