생각하고 점수 매기기: 비디오 리워드 모델링을 위한 추론과 점수 산출의 분리

기존 비디오 리워드 모델은 복잡한 동작을 논리적으로 분석하지 못하거나 학습 과정이 불안정한 문제가 있었다. 이 논문은 사고 과정(CoT)과 실제 점수 산출을 분리하는 DeScore 구조를 통해 학습 효율을 76% 높이면서도 인간의 선호도를 더 정확하게 예측하는 방법을 제시한다.

기존의 비디오 리워드 모델은 비디오 특징에서 바로 점수를 뽑아내는 Discriminative 방식과, 다음 토큰을 예측하며 점수를 내는 Generative 방식으로 나뉜다. Discriminative 방식은 학습은 안정적이지만 복잡한 세부 사항을 놓치기 쉽고, Generative 방식은 CoT를 통해 논리적 근거를 만들 수 있지만 점수 토큰의 확률값에만 의존하므로 학습 시 그래디언트 변동이 심해 불안정하다는 한계가 있다.

DeScore는 MLLM이 먼저 비디오를 분석하는 CoT를 생성하게 한 뒤, 이 추론 결과의 마지막 상태(Hidden State)를 별도의 Regression Head에 입력하여 직접적인 스칼라 점수를 계산한다. 이는 Transformer의 Attention 메커니즘이 비디오의 시각적 정보와 생성된 텍스트 정보를 모두 참조하여 하나의 압축된 벡터를 만들고, 이를 통해 수치적인 리워드를 도출하는 원리이다.

결과적으로 모델은 '왜 이 비디오가 좋은지'를 먼저 생각하면서도, 학습 시에는 안정적인 Bradley-Terry Loss를 통해 직접적인 점수 교정을 받는다. 이를 통해 적은 데이터로도 복잡한 비디오의 질적 차이를 정교하게 구분할 수 있게 된다.

DeScore는 Qwen3-VL-8B를 백본으로 사용하며, CoT 생성 이후 [Reward] 쿼리 토큰을 추가하여 최종 점수를 산출하는 구조를 가진다. 전체 학습은 두 단계로 진행된다.

첫 번째 단계인 Discriminative Cold Start에서는 수집된 CoT 데이터를 입력으로 하여 Bradley-Terry(BT) Loss를 통해 모델을 예열한다. [두 비디오의 점수 차이 s_w - s_l을 입력으로] → [Sigmoid 함수 σ를 적용해 승리 확률을 계산하고] → [-log(σ) 값을 최소화하여] → [모델이 인간의 선호 순위를 올바르게 회귀하도록 가중치를 갱신한다]. 이때 Random Masking을 적용해 CoT 없이 비디오만으로도 점수를 낼 수 있는 강건함을 확보한다.

두 번째 단계인 Dual-Objective RL에서는 GRPO와 보조 BT Loss를 결합한다. [생성된 CoT 문장들을 입력으로] → [형식, 품질, 길이에 따른 보상을 계산해 GRPO Loss를 적용하고] → [동시에 실제 리워드 값에 대해 BT Loss를 계산하여] → [추론의 논리성과 점수의 정확도를 동시에 최적화한다]. 이 과정에서 GRPO는 추론의 질을 높이고, BT Loss는 리워드 헤드가 편향되지 않도록 보정하는 역할을 수행한다.

DeScore는 In-domain 데이터셋에서 0.734의 선호도 정확도를 기록하며 기존 SOTA 모델인 VideoScore2(0.617)를 크게 상회했다. 특히 OOD(분포 외) 벤치마크인 VideoGen-Bench에서 0.768의 정확도를 달성하여 모델의 범용적인 일반화 성능을 입증했다.

효율성 측면에서는 기존 모델 대비 학습 데이터를 76% 적게 사용하고도 더 높은 성능을 보였다. Ablation Study 결과, CoT를 도입했을 때 정확도가 약 2.7% 향상되었으며, Random Masking 기법이 모델이 텍스트에만 매몰되지 않고 시각 정보를 균형 있게 참조하도록 돕는다는 점이 확인되었다.

DeScore 아키텍처는 MLLM 백본 뒤에 학습 가능한 Query Token과 MLP 기반의 Regression Head를 결합한 형태이다. 기존 Generative RM이 점수를 이산적인 토큰으로 처리하여 서수적 관계를 무시하는 문제를 해결하기 위해, CoT 이후의 컨텍스트를 연속적인 스칼라 값으로 매핑한다.

이론적으로 GRPO의 그래디언트 분산이 응답 길이에 비례하여 증가(Ω(T))한다는 점을 분석하여, 점수 산출부에는 분산이 낮은 BT Loss를 직접 적용함으로써 학습 안정성을 확보했다. 구현 시에는 LoRA(rank 64)를 사용하여 효율적인 파인튜닝을 수행하며, 8개의 A100 GPU 환경에서 최적화가 가능하다.

주로 비디오가 텍스트 프롬프트에 얼마나 충실한지를 평가하는 데 집중되어 있어, 물리적인 모순이나 미세한 시각적 아티팩트를 포착하는 능력은 상대적으로 부족할 수 있다.