Personalized RewardBench: 인간 정렬 개인화를 통한 보상 모델 평가

기존 보상 모델은 일반적인 정답 품질은 잘 평가하지만 사용자의 고유한 취향이나 맥락을 반영하는 개인화 능력은 부족하다. 이 논문은 사용자 프로필과 개인별 평가 기준을 통합한 새로운 벤치마크를 제시하여 다원적 정렬 연구의 새로운 기준을 마련했다.

기존의 보상 모델(Reward Model)은 주로 '도움됨'이나 '무해함' 같은 보편적인 가치를 기준으로 답변의 점수를 매긴다. 이는 마치 모든 손님에게 똑같이 친절한 점원을 교육하는 것과 같아서, 특정 손님이 과거에 어떤 대화 스타일을 선호했는지나 어떤 배경지식을 가졌는지와 같은 개인적 취향을 반영하지 못하는 한계가 있다.

이 논문은 보상 모델이 사용자의 과거 이력(User Profile)을 바탕으로 '이 사용자가 특히 중요하게 생각하는 포인트(Personal Rubrics)'를 스스로 추론해야 한다고 본다. 예를 들어, 단순히 '박사 과정이 힘들다'는 고민에 대해 일반적인 위로를 하는 대신, 사용자의 과거 기록을 통해 지도 교수와의 소통 방식을 중요하게 여긴다는 점을 파악하여 그에 맞는 조언을 선택하는 능력을 측정한다.

결과적으로 보상 모델은 단순히 문장의 유창함이나 논리성을 보는 단계를 넘어, 사용자의 맥락 정보를 임베딩(Embedding) 공간에서 어떻게 해석하고 이를 보상 값에 반영할지 결정해야 한다. 실험 결과 현재 가장 뛰어난 모델들도 이러한 개인화된 미묘한 차이를 구분하는 데 어려움을 겪고 있으며, 이는 향후 LLM이 진정한 개인 비서로 진화하기 위해 해결해야 할 핵심 과제임을 시사한다.

전체적인 접근 방식은 LaMP-QA 데이터셋의 메타데이터를 활용하여 사용자 프로필(u), 쿼리(q), 선택된 답변(yc), 거부된 답변(yr)으로 구성된 튜플을 생성하는 것이다. 특히 거부된 답변은 품질이 낮아서가 아니라 사용자의 특정 루브릭을 위반했기 때문에 거부되도록 설계하여 변인을 통제했다.

사용자 프로필 구축을 위해 Contriever 모델을 사용하여 사용자의 과거 이력 중 관련성 높은 상위 10개 항목을 추출하는 검색 증강 방식을 채택했다. 이후 Gemini-3-Flash를 사용하여 루브릭 준수 여부에 따른 답변 쌍을 생성했다. yc = LLM(q, u, Ru), yr = LLM(q, u, ¬Ru) 공식을 통해 루브릭 Ru의 포함 여부만으로 답변의 선호도를 결정했다.

보상 모델의 평가를 위해 Planner 모듈을 도입했다. Planner는 사용자 프로필(u)과 쿼리(q)를 입력으로 받아 예상되는 개인 루브릭(Ru)을 텍스트 형태로 생성한다. [u, q → Planner → Ru] 과정을 거쳐 생성된 루브릭을 보상 모델에 입력값으로 제공함으로써, 모델이 원시 프로필 데이터의 노이즈에 영향을 받지 않고 핵심 선호 조건에 집중하도록 설계했다.

메인 벤치마크 결과, Gemini-3-Flash가 75.94%로 가장 높은 정확도를 기록했으나 여전히 개선의 여지가 큼이 확인됐다. 특히 모델의 파라미터 크기가 커진다고 해서 반드시 개인화 성능이 향상되지는 않는 '규모의 불일치' 현상이 관찰됐다. 예를 들어 InternLM2-20B 모델은 7B 모델보다 낮은 성능을 보이기도 했다.

다운스트림 상관관계 분석에서 Personalized RewardBench는 Best-of-N 샘플링 시 NDCG 0.9180을 기록하여 기존 Chatbot Arena-Personalized(0.6586)보다 월등히 높은 예측력을 보였다. PPO 실험에서도 Spearman's ρ 0.3714를 기록하여 보상 모델의 벤치마크 성능이 실제 정책 모델의 성능 향상으로 이어짐을 입증했다.

사용자 프로필 주입 방식에 대한 실험에서는 프로필을 단순히 텍스트로 이어 붙이는 방식(w/ profile)보다 Planner를 통해 구조화된 루브릭으로 변환하여 제공하는 방식(w/ plan)이 모든 도메인에서 일관되게 성능을 향상시켰다. 이는 보상 모델이 길고 복잡한 과거 이력에서 직접 선호를 추출하는 데 어려움을 겪고 있음을 나타낸다.

본 연구는 보상 모델이 사용자 프로필을 처리할 때 발생하는 '학습-테스트 불일치(Train-Test Misalignment)' 문제를 지적한다. 일반적인 보상 모델은 짧은 프롬프트-답변 쌍으로 학습되므로, 수천 토큰에 달하는 사용자 이력을 직접 입력받으면 성능이 급격히 저하된다.

이를 해결하기 위해 제안된 Planner 모듈은 Cross-Entropy Loss를 통해 학습되어 사용자 이력을 핵심 루브릭으로 요약한다. 보상 모델은 s = RM(q, Ru, y) 형태로 계산을 수행하며, 여기서 Ru는 Planner가 생성한 텍스트 기반 제약 조건이다. 이는 고차원의 프로필 정보를 저차원의 텍스트 속성으로 압축하여 보상 모델의 추론 부담을 줄이는 효과를 준다.

실험에 사용된 정책 모델은 Qwen2.5-0.5B-Instruct로, 모델 자체의 능력보다는 보상 모델의 가이드 성능을 순수하게 측정하기 위해 경량 모델을 선택했다. 평가자 모델(LLM-as-a-judge)로는 Qwen2.5-32B-Instruct를 사용하여 생성된 답변이 개인 루브릭을 얼마나 잘 준수했는지 0~2점 척도로 정밀하게 측정했다.

현재 벤치마크는 단일 쿼리 상호작용에 집중하고 있어 다중 턴 대화에서의 개인화 역동성을 완벽히 포착하지 못할 수 있다. 또한 Planner 모듈이 생성하는 루브릭의 품질에 보상 모델의 성능이 의존하게 되는 종속성 문제가 존재한다.