길이 확장을 넘어: 생성형 보상 모델을 위한 너비와 깊이의 시너지

기존의 생성형 보상 모델은 단순히 추론 과정(CoT)의 길이를 늘리는 데 집중했으나, 이 논문은 문제의 성격에 따라 '너비(다각도 분석)'와 '깊이(논리적 검증)'가 다르게 필요함을 입증했다. 이를 통해 주관적 선호도와 객관적 정답 확인 모두에서 압도적인 성능을 내는 효율적인 보상 모델 구축이 가능해졌다.

기존 보상 모델은 LLM이 답변의 품질을 평가할 때 추론 과정(CoT)을 길게 쓰게 하면 성능이 좋아진다는 '길이 확장(Length Scaling)'에 의존했다. 하지만 단순히 길게 쓰는 것이 항상 정답은 아니며, 수학 문제처럼 논리적 엄밀함이 필요한 작업과 에세이처럼 다각도의 가치 판단이 필요한 작업은 서로 다른 사고 구조를 요구한다.

Mix-GRM은 이를 해결하기 위해 사고의 방향을 '너비(Breadth)'와 '깊이(Depth)'로 나눈다. B-COT는 여러 평가 원칙(도움됨, 무해함, 창의성 등)을 병렬적으로 검토하여 포괄적인 판단을 내리고, D-COT는 답변의 논리적 단계를 순차적으로 검증하여 오류를 잡아내는 데 집중한다.

이 두 가지 사고 방식을 데이터 합성 단계에서부터 분리하여 학습시키고, 강화학습을 통해 모델이 문제 유형을 보고 어떤 사고 방식을 꺼내 쓸지 스스로 결정하게 만든다. 결과적으로 모델은 단순히 길게 쓰는 것이 아니라, 문제에 맞는 '최적의 사고 구조'를 갖추게 된다.

모듈형 스키마 표준화(Modular Schema Standardization) 단계를 거친다. 비정형화된 기존 CoT 데이터를 '원칙(Principle)-판단(Judgment)-평가(Verdict)' 단위의 원자적 모듈로 분해한다. LLM을 사용하여 원시 텍스트에서 각 평가 항목과 그에 대한 구체적인 근거를 추출하여 구조화한다.

이중 트랙 메커니즘 합성(Mechanism Synthesis)을 수행한다. B-COT는 여러 독립적인 추론 경로에서 추출된 원칙들을 병렬로 통합(Merge & Deduplicate)하여 평가의 범위를 넓힌다. D-COT는 먼저 문제에 대한 정답 추론 과정(Reasoning Trace)을 생성하고, 이를 바탕으로 각 평가 단위의 판단을 재구성하여 논리적 일관성을 확보한다.

메커니즘 적응형 정렬(Mechanism-Adaptive Alignment)로 마무리한다. SFT 단계에서 B-COT와 D-COT가 혼합된 데이터셋으로 초기 학습을 진행한 후, GRPO 알고리즘을 이용한 RLVR을 수행한다. 보상 함수 $J_{GRPO}(\theta)$는 모델 출력의 최종 Verdict가 정답 레이블과 일치할 때 양의 보상을 부여한다. [입력 $I$에 대해 생성된 여러 답변 $o_i$의 확률 변화를 입력으로] → [이점이 높은 답변의 확률은 높이고 낮은 답변은 낮추는 연산을 수행해] → [최종적으로 정답 레이블과 일치하는 Verdict를 내는 방향으로 가중치를 갱신하고] → [모델이 작업에 맞는 최적의 추론 구조를 스스로 학습하게 한다.]

RewardBench, RMB, PPE 등 5개 주요 벤치마크에서 Mix-GRM은 평균 79.4%의 정확도를 기록하며 Skywork-Reward-8B(76.5%)와 FARE-8B(75.9%)를 크게 앞질렀다. 특히 RLVR 이후 성능이 SFT 대비 4.3%p 향상되어 강화학습의 효과를 입증했다.

도메인별 효율성 분석 결과, B-COT는 주관적 선호도 도메인에서 성능 향상을 주도했으나 객관적 정답 확인에서는 오히려 성능이 하락하는 경향을 보였다. 반면 D-COT는 정답 확인에서 탁월한 성능을 보였으며, Mix-GRM은 이 두 가지의 장점을 결합하여 모든 도메인에서 최고 성능을 유지했다.

다운스트림 작업에서도 우수한 성능을 보였다. Offline RL(DPO) 학습을 위한 보상 신호로 사용했을 때 Instruction-following 벤치마크에서 12.1의 승률을 기록하며 기존 모델들을 압도했다. 또한 Test-time Scaling(Best-of-N) 시나리오에서도 MATH 벤치마크에서 43.2%의 정확도를 기록하여 강력한 검증기(Verifier)로서의 성능을 보였다.

Qwen3-8B-Base를 기반으로 하며, 3만 개의 샘플(9K SFT, 21K RLVR)로 구성된 복합 코퍼스를 사용하여 학습되었다. 데이터셋은 HelpSteer3, Math-DPO, WildGuard 등 다양한 도메인을 포괄한다.

B-COT 합성 알고리즘은 N개의 독립적인 추론 경로를 샘플링한 후, LLM 기반의 'Merge & Deduplicate' 변환을 거쳐 중복을 제거하고 핵심 평가 원칙들을 수평적으로 확장한다. 이는 모델의 수평적 평가 범위(Horizontal Evaluative Scope)를 넓히는 효과를 준다.

D-COT 합성 알고리즘은 먼저 입력에 대한 자가 해결 경로(Reasoning Trace)를 도출한다. 이후 각 평가 단위의 판단을 해당 경로에 근거하여 재생성함으로써, 표면적인 유창함에 속지 않고 논리적 타당성에 기반한 심층 분석을 수행한다.

RLVR 및 GRPO 최적화 과정에서 명시적인 구조 레이블 없이도 모델이 스스로 B-COT(선호도)와 D-COT(정답 확인) 구조를 선택하게 되는 '발현적 극성(Emergent Polarization)' 현상이 관찰되었다. 최종적으로 테스트 세트에서 95%의 구조 일치율을 달성하며 작업별 최적 사고 구조를 내재화했다.

현재 프레임워크는 주관적 선호도와 객관적 정답 확인이라는 두 가지 축으로만 구분하고 있으나, 실제 작업은 이 두 가지가 복합적으로 얽힌 연속적인 스펙트럼 상에 존재할 수 있다. 또한 하이브리드 작업에서 특정 사고 구조에 고착되는 경직성 문제가 발생할 수 있어 더 세밀한 분류 체계가 필요하다.