노이즈가 섞인 선호도 데이터로부터의 학습: 직접 선호도 최적화에 대한 준지도 학습 접근법

인간의 시각적 선호도는 미학, 세부 묘사, 의미 일치 등 다차원적이지만 기존 데이터셋은 이를 단일 이진 라벨로 압축하여 모델 학습에 혼란을 주는 노이즈를 발생시킨다. 이 논문은 추가적인 인간 주석 없이도 모델 스스로 모순된 데이터를 정제하고 학습하는 Semi-DPO 프레임워크를 통해 텍스트-이미지 생성 모델의 정렬 성능을 획기적으로 개선했다.

디퓨전 모델의 학습에서 Direct Preference Optimization(DPO)은 두 이미지 중 사람이 선호하는 쪽의 확률을 높이는 방식으로 작동한다. 하지만 실제 사람은 '구도는 A가 좋지만 질감은 B가 좋다'고 느낄 때 강제로 하나를 선택하게 되며, 이 과정에서 모델은 승리한 이미지의 단점까지 학습하거나 패배한 이미지의 장점을 배제하라는 모순된 그래디언트 신호를 받게 된다.

이 논문은 디퓨전 과정의 계층적 특성, 즉 초기 단계에서는 전체적인 구도를 잡고 나중 단계에서는 세부 질감을 완성한다는 점에 주목했다. 하나의 이진 라벨은 전체 타임라인에서 모순을 일으키지만, 특정 타임스텝별로 나누어 보면 모델이 스스로 어떤 이미지가 해당 단계의 목적(구도 또는 질감)에 더 적합한지 판단할 수 있는 능력이 있음을 발견했다.

결과적으로 Semi-DPO는 모델이 이미 알고 있는 지식을 바탕으로 모순된 라벨을 타임스텝별로 재해석한다. 이를 통해 기존의 획일적인 이진 신호를 정교한 타임스텝별 선호 신호로 분리해냄으로써, 모델이 인간의 복잡한 선호도에 더 정확하게 정렬되도록 유도한다.

Semi-DPO는 크게 두 단계로 구성된다. 첫 번째 단계인 Multi-Reward Consensus에서는 CLIP Score, Aesthetic Score 등 5개의 사전 학습된 보상 모델을 사용하여 모든 모델이 동의하는 '깨끗한(Clean)' 데이터셋을 추출한다. 전체 데이터의 약 21%만이 이 과정을 통과하며, 나머지는 노이즈가 포함된 미라벨링 데이터로 간주된다.

두 번째 단계인 Iterative Self-Training에서는 먼저 깨끗한 데이터로 초기 모델을 학습시킨다. 이후 이 모델을 암시적 분류기(Implicit Classifier)로 사용하여 노이즈 데이터에 대해 타임스텝별 의사 라벨을 생성한다. 이때 logit의 크기인 |z_theta|를 계산하여 동적 임계값 tau보다 큰 경우에만 해당 라벨을 신뢰하고 학습에 반영한다.

최종 손실 함수는 깨끗한 데이터에 대한 Anchor Loss와 신뢰도 높은 의사 라벨 데이터에 대한 Pseudo-Label Loss의 합으로 정의된다. [입력된 이미지 쌍과 타임스텝 t에 대해] -> [모델의 암시적 보상 값의 차이인 logit을 계산하고] -> [이 값이 임계값을 넘으면 의사 라벨로 확정하여] -> [기존 DPO 손실 함수와 결합해 가중치를 갱신한다]. 이 과정을 반복하며 모델은 스스로 노이즈를 교정한다.

SD1.5와 SDXL 모델 모두에서 Semi-DPO는 기존의 Diffusion-DPO, Diffusion-KTO 등 최신 기법들을 모든 지표에서 압도했다. 특히 인간의 다차원적 선호도를 측정하는 MPS(Multi-dimensional Preference Score) 지표에서 SD1.5 기준 기존 대비 10.7% 이상의 성능 향상을 기록했다.

질적 평가에서도 Semi-DPO는 복잡한 프롬프트에 대한 의미적 일치도와 시각적 미학을 동시에 개선했다. 예를 들어 '요리하는 피카츄'와 같은 프롬프트에서 다른 모델들이 피카츄의 형태나 요리 도구 묘사에 실패할 때, Semi-DPO는 두 요소를 모두 정확하게 표현해냈다.

Ablation Study 결과, 반복적인 자기 학습(Iterative Self-Training)이 진행될수록 성능이 계단식으로 상승함을 확인했다. 또한 5개의 보상 모델을 결합했을 때 초기 데이터의 품질이 가장 높았으며, 이는 최종 모델의 성능과 직결되는 것으로 나타났다.

Semi-DPO는 Diffusion-DPO의 손실 함수가 수학적으로 이진 교차 엔트로피(Binary Cross-Entropy)와 동일하다는 점을 이용하여 모델을 암시적 보상 모델로 활용한다. 이론적으로 다차원 선호도 충돌이 그래디언트 분산을 팽창시킴을 증명했으며, 이를 해결하기 위해 준지도 학습의 핵심 기법인 의사 라벨링과 확정적 필터링을 도입했다. 특히 타임스텝별로 모델의 예측 정확도가 다르다는 점을 반영하여 Dynamic Timestep-Conditional Thresholding을 적용한 것이 기술적 차별점이다. 구현 측면에서는 32개의 NVIDIA A100 GPU를 사용하여 분산 학습을 수행했으며, 기존 단일 단계 학습보다 적은 GPU 시간(132 vs 192 hours)으로 더 높은 성능을 달성해 효율성을 입증했다.

Semi-DPO는 여러 번의 의사 라벨링 및 재학습 사이클을 필요로 하므로, 단일 단계 학습 방식에 비해 파이프라인 관리의 복잡성이 증가하는 운영상의 오버헤드가 존재한다.