C2: 이진 선호도를 활용한 확장 가능한 루브릭 증강 보상 모델링

기존의 루브릭 기반 검증 방식은 사람이 직접 작성한 고비용의 가이드라인이 필요했으나, C2는 이진 선호도 데이터만으로 유용한 루브릭을 자동 생성하고 검증합니다. 이를 통해 보상 모델이 스스로 판단 기준을 세우고 오류를 걸러내는 협력적 구조를 구축하여 모델의 신뢰성을 높입니다.

기존의 보상 모델링은 두 응답 중 어느 것이 더 나은지에 대한 이진 선호도(Binary Preference)를 학습하지만, 복잡한 지시사항 이행이나 주관적인 글쓰기 평가에서는 판단 근거가 불분명하다는 한계가 있다. 이를 해결하기 위해 루브릭(평가 기준)을 도입하려 했으나, 양질의 루브릭을 대량으로 확보하는 것은 비용이 많이 들고 모델이 스스로 생성한 루브릭은 오히려 판단을 그르치는 경우가 많았다.

C2는 이를 '협력적 의사소통'의 관점에서 해결한다. 루브릭 생성기는 보상 모델이 정답을 맞히도록 돕는 '협력자' 역할을 수행하고, 검증기는 생성된 루브릭이 실제로 도움이 되는지 비판적으로 검토하는 '감시자' 역할을 한다. 이 과정에서 특정 루브릭이 모델의 Softmax 확률 분포를 정답 레이블 쪽으로 얼마나 이동시키는지(Confidence Shift)를 측정하여 루브릭의 품질을 수치화한다.

결과적으로 보상 모델은 단순히 정답을 맞히는 법뿐만 아니라, 어떤 기준이 유효하고 어떤 기준이 잘못되었는지를 함께 학습하게 된다. 이는 모델이 복잡한 추론 과정에서 스스로의 판단 기준을 교정할 수 있는 능력을 갖추게 됨을 의미하며, 외부의 명시적인 가이드라인 없이도 더 정교한 평가가 가능해진다.

C2 프레임워크는 루브릭 합성, 생성기 학습, 검증기 학습의 3단계로 구성된다. 먼저 루브릭 합성 단계에서는 기본 모델을 사용하여 여러 루브릭 후보를 생성한 후, 각 루브릭이 주어졌을 때와 주어지지 않았을 때의 판단 마진 m = log p(correct) - log p(incorrect)의 변화량을 계산한다. m(with rubric) > max(0, m(without))인 경우를 Helpful(R+), m(with rubric) < min(0, m(without))인 경우를 Misleading(R-)으로 분류한다.

루브릭 생성기 G는 DPO(Direct Preference Optimization)를 통해 학습된다. 합성된 루브릭 쌍 (r+, r-)에 대해 r+를 선택된 응답으로, r-를 거절된 응답으로 설정하여 모델이 유용한 루브릭을 우선적으로 생성하도록 최적화한다. [입력: 프롬프트 및 응답 쌍 → 연산: DPO 손실 함수 최소화 → 출력: 유용한 루브릭 생성 확률 극대화]

검증기 V는 GRPO(Group Relative Policy Optimization)를 사용하여 학습된다. 검증기는 루브릭이 주어지지 않은 기본 과제와 루브릭이 주어진 증강 과제를 동시에 수행한다. 증강 과제에서는 루브릭의 유효성(helpful/misleading)을 먼저 판별한 후 최종 선호도를 예측한다. 보상은 형식 보상(Rf), 선호도 예측 보상(Rp), 루브릭 판별 보상(Rr)의 가중합으로 계산된다. [입력: 프롬프트, 응답 쌍, 루브릭 → 연산: 선호도 및 유효성 동시 예측 → 출력: 루브릭 신뢰도 기반의 최종 판단]

C2는 Tulu3-8B 및 Qwen3-8B 모델을 기반으로 한 실험에서 기존의 Reasoning RM 대비 월등한 성능을 보였다. RM-Bench에서 최대 6.5점의 성능 향상을 기록했으며, AlpacaEval 2.0에서는 길이 조절 승률(LC Win Rate) 기준 6.0점의 향상을 달성했다. 특히 Qwen3-8B 모델에 C2를 적용했을 때, 4배 더 큰 모델(32B)에서 추출한 외부 루브릭을 사용한 성능과 대등한 수준에 도달했다.

Ablation Study 결과, 오도하는 루브릭(Misleading Rubrics)을 학습 데이터에서 제외했을 때 성능 하락이 가장 컸으며, 이는 모델이 '무엇을 따르지 말아야 하는지'를 배우는 것이 강건한 검증에 필수적임을 시사한다. 또한 선택적 추론(Selective Inference)을 통해 노이즈가 섞인 루브릭 환경에서도 안정적인 정확도를 유지함을 확인했다.

C2는 루브릭 생성과 검증을 '협력적 의사소통' 이론에 기반하여 설계했다. 생성기는 검증기가 정답에 도달하도록 가이드라인을 탐색하고, 검증기는 이를 비판적으로 수용한다. 아키텍처적으로는 단일 모델 내에서 추론 체인(Reasoning Trace)과 루브릭 평가를 통합하여 처리한다.

학습 시 GRPO를 활용하여 검증기가 루브릭의 품질을 스스로 평가하도록 유도하며, 이때 보상 함수는 정답 레이블과의 일치 여부뿐만 아니라 루브릭의 실제 유용성(Confidence Shift 방향성)을 반영한다. 추론 시에는 루브릭이 'misleading'으로 판별되면 해당 루브릭을 무시하고 재시도하는 Retry 메커니즘을 통해 추론 시간 계산량(Test-time Compute)을 효율적으로 활용한다.

C2의 효과는 베이스 모델의 기본적인 추론 능력에 의존한다. 모델의 능력이 너무 낮을 경우 유용한 루브릭과 오도하는 루브릭을 명확히 구분하지 못해 유용한 가이드를 불필요하게 거부할 위험이 있다. 또한 루브릭 생성 및 재시도 과정에서 표준 보상 모델 대비 약 2.3~2.4배의 추가 연산 비용이 발생한다.