RubricBench: 모델 생성 루브릭과 인간 표준의 정렬

LLM이 복잡한 추론을 수행함에 따라 단순 선호도 점수보다 구체적인 평가 기준인 루브릭이 중요해지고 있다. 이 논문은 모델이 스스로 만든 평가 기준이 인간의 기준과 얼마나 동떨어져 있는지 정량적으로 증명하고 이를 개선하기 위한 새로운 벤치마크를 제공한다.

기존의 Reward Model은 두 답변 중 어느 것이 더 좋은지 하나의 점수로만 판단했다. 하지만 LLM이 복잡해지면서 단순히 답변이 길거나 말투가 공손하다는 이유로 높은 점수를 주는 표면적 편향 문제가 심각해졌다. 이를 해결하기 위해 최근에는 체크리스트 형태의 루브릭을 활용해 평가의 근거를 명확히 하려는 시도가 늘고 있다. RubricBench는 모델이 스스로 루브릭을 생성하고 그에 따라 평가하는 과정이 얼마나 정확한지 측정한다. 핵심 원리는 지시사항 기반 루브릭 생성이다. 모델이 답변을 보기 전에 지시사항만 보고 평가 기준을 먼저 세우게 함으로써 답변 내용에 휘둘리지 않는 객관적인 기준을 수립할 수 있는지 테스트한다. 실험 결과 모델은 겉으로 드러난 형식적인 제약 조건은 잘 찾아내지만 인간이 당연하게 여기는 타당성이나 논리적 일관성 같은 깊은 의도를 놓치는 경향이 있다. 이는 모델의 추론 능력이 부족해서라기보다 인간의 가치 우선순위를 이해하는 인지적 정렬 단계에서 병목이 발생하고 있음을 시사한다.

데이터 구축은 3단계 파이프라인으로 진행된다. 먼저 기존 벤치마크에서 입력 복잡성, 출력 표면 편향, 과정 실패를 기준으로 까다로운 샘플을 필터링한다. [기존 데이터셋 입력 → 3가지 차원 필터링 적용 → 고난도 샘플 추출 → 변별력 확보] 추출된 샘플에 대해 전문가들이 지시사항만 보고 2~10개의 독립적인 이진(Yes/No) 체크리스트 항목을 작성한다. [지시사항 입력 → 전문가 분석 → 원자적 루브릭 생성 → 객관적 평가 기준 수립] 품질 관리를 위해 두 명의 주석자가 독립적으로 작성한 루브릭을 상급 검토자가 통합하고 논리적 일관성과 중복 제거를 위한 최종 검증 과정을 거친다. [주석 데이터 입력 → 전문가 합의 및 정제 → 최종 루브릭 확정 → 신뢰도 확보] 루브릭 일치도 측정 시 Rubric Recall 지표를 사용하며 이는 인간 루브릭 항목 수 M과 모델이 맞춘 항목 수 H가 주어질 때 H/M을 계산한다. [인간 기준 개수와 모델 일치 개수를 입력으로] → [나눗셈 연산을 수행해] → [0에서 1 사이의 비율을 얻고] → [모델이 인간의 의도를 얼마나 빠짐없이 포착했는지 의미한다.]

메인 실험에서 기존 Reward Model들은 4050%의 낮은 정확도를 보인 반면 루브릭 기반 모델들은 약 58% 수준에 도달했다. 하지만 인간이 작성한 루브릭을 주입했을 때는 정확도가 약 85%까지 급상승하여 모델이 스스로 루브릭을 생성하는 단계에서 큰 성능 손실이 발생함을 확인했다. Rubric Gap 분석 결과 최신 모델인 GPT-4o-mini, DeepSeek-v3.2 등 모든 모델에서 인간 루브릭 대비 약 2628%의 성능 격차가 일정하게 유지되었다. 이는 모델의 크기를 키우거나 테스트 시 연산량을 늘려도 좁혀지지 않는 구조적인 문제임이 밝혀졌다. 세부 분석에서 모델은 안전 관련 루브릭 생성 시 가장 취약했다. 모델 스스로는 안전 경계를 설정하는 데 실패했으나 인간 루브릭을 제공하면 정확도가 90% 이상으로 회복되었다. 이는 모델 내부에 잠재된 안전 지식은 충분하지만 이를 스스로 평가 기준으로 도출하지 못함을 의미한다.

RubricBench는 1,147개의 쌍체 비교 데이터로 구성되며 Chat, Coding, STEM, Safety 등 5개 도메인을 포괄한다. 각 샘플은 인간이 작성한 2~10개의 원자적 루브릭 항목을 포함한다. 루브릭의 품질을 측정하기 위해 Rubric Recall, Hallucination Rate, Structural F1이라는 지표를 도입했다. Structural F1은 정밀도의 대리 지표인 (1 - HallucinationRate)와 RubricRecall의 조화 평균을 계산한다. [정밀도와 재현율 값을 입력으로] → [조화 평균 연산을 수행해] → [하나의 점수를 얻고] → [루브릭의 포괄성과 정확성을 동시에 고려한 종합 품질을 의미한다.] 연구팀은 Attention Displacement 현상을 발견했는데 이는 모델이 루브릭 생성 시 핵심 제약 조건보다 지엽적인 스타일이나 형식에 집중하여 생성 예산을 낭비하는 경향을 뜻한다. 실행 단계의 오류 분석 결과 올바른 루브릭이 주어져도 모델이 이를 최종 결정에 강제하지 못하는 Soft-constraint Fallacy 문제가 관찰되었다.

기존 공공 벤치마크를 재큐레이션했기 때문에 데이터 분포가 해당 소스 데이터셋의 범위로 제한될 수 있다. 또한 이진 체크리스트 형식을 취하고 있어 창의적 글쓰기와 같은 주관적인 품질의 연속적인 특성을 완벽히 포착하지 못할 수 있다.