RubricEM: 검증 가능한 보상을 넘어서는 루브릭 기반 정책 분해를 통한 메타-RL

오픈-엔드(long-form) 연구 과제는 정답 검증이 어려워 전통적인 보상 신호로 학습하기 어렵다. RubricEM은 루브릭을 정책 실행, 판단 피드백, 기억 저장의 공유 인터페이스로 삼아 정책을 구체적 스테이지로 분해하고, 스테이지별 크레딧 및 회고-메타 정책 학습으로 긴 시간 축의 학습 신호를 촘촘하게 제공한다. 이를 통해 비검증형 연구에서도 샘플 효율과 일반화 성능을 높이고, 재사용 가능한 회고를 통해 미래 롤아웃에 도움을 준다.

• 문제의 핵심은 긴 형식의 연구에서 보상 신호가 희박하고 평가가 다면적이며, 단일 종점 보상에 의존하는 학습이 불안정하다는 점이다. RubricEM은 루브릭을 통해 문제의 구조를 명시하고, planning/검색/검토/작성의 네 단계를 정책화하며, 각각의 단계에 맞춘 평가를 제공한다. - 루브릭은 정책 추론의 안정성과 평가의 세밀화를 동시에 달성하는 인터페이스로 작동하며, 이를 바탕으로 Stage-Structured GRPO로 더 풍부한 학습 신호를 얻고, 회고 메타-정책으로 재사용 가능한 지식을 생성·저장한다. - 비동기 회고 파이프라인과 윈도우 커리큘럼은 학습 흐름의 병목을 피하고, 에피소드 간 지식 재사용과 적응을 촉진한다. - 전반적으로 네 가지 구성 요소(구조화된 scaffold, 스테이지별 크레딧, 회고 메타-정책, 비동기 학습 파이프라인)가 서로를 보완하며, 긴 호라이즌의 탐색-검색-합성 작업에서 개별 토큰 단위의 단일 보상보다 더 견고하고 재사용 가능한 학습 신호를 제공한다.

• 스캐폴드: Plan/Research/Review/Answer의 XML 태그와 내부 스키마를 사용해 트랙터리를 구조화하고, Plan 단계에서 rubrics를 생성하여 검색 계획과 평가 기준을 명시한다. - SS-GRPO: n개의 롤아웃을 4개 스테이지로 분할하고, 각 스테이지의 루브릭 점수 R_i,k로 G_Λ를 계산하여 토큰 단위가 아닌 스테이지 단위의 신호를 학습에 반영한다. - 기억과 회고: 공유 백본으로 태스크 정책과 회고 메타-정책을 학습하고, judge의 평가로부터 얻은 회고를 Rubric Bank에 저장해 재사용한다. - 비동기화: 회고 생성/판단/뱅크 업데이트를 비동기로 수행해 RL 루프의 WALL-CLOCK COST를 줄이고, Windowed Curriculum로 새로운/재방문 샘플 간의 간극을 확보한다. - 학습 설계: Open-ended long-form 문제에 대해 verifiable rewards를 제거하고 루브릭 기반 보상만 사용한다. SFT는 Gemini-3.1-Pro로 수행되며, RL은 SS-GRPO 기반으로 수행된다.

• RubricEM-8B(RL, 1400 steps)는 평균 55.5로 비프로프라이어터리 Deep Research 시스템 대비 높은 성능을 달성했고, 600-step ablations에서도 각 구성 요소가 성능을 개선했다. - HealthBench, ResearchQA, DRB, ResearchRubrics에서의 성과가 전반적으로 향상되었으며, RL 단계의 구조화와 회고 학습이 긴 형식 연구에서 효과적임이 확인되었다. - SFT 체크포인트에서 RL로의 전환은 평균 49.2에서 55.5로 상승시키며, 기존 DR Tulu 계열의 RL보다 더 적은 스텝으로 더 높은 성과를 달성했다. - Short-form 벤치마크로의 전이 역시 긍정적이며, 8B 모델 규모에서도 저분포의 긴 형식 학습으로 일반화됨을 보였다.

• 아키텍처: Rubric-Guided Structured Trajectory, Stage-Structured GRPO, Reflection Meta-Policy Training의 3축 구조. 각 축은 서로 다른 학습 신호를 통해 협력적으로 파생된 지식의 재사용을 촉진한다. - 수학적 기초: Stage-Weighting과 Λ 매트릭스에 기반한 스테이지 의존적 신호를 사용, 각 단계의 점수 R_i,k를 바탕으로 G_Λ를 정의하며, 최적화는 critic-free SS-GRPO로 수행한다. - 데이터/학습: SFT는 Gemini-3.1-Pro를 사용한 트랙터리 수집, RL은 600-1400 스텝의 Open-ended RL로 수행. 윈도우 커리큘럼(K=3)으로 새로운 질문과 재방문 질문 간 간격을 확보하고, 반려 회고를 Rubric Bank에 저장해 재사용한다. - 평가: 네 가지 대형 벤치마크 HealthBench, ResearchQA, DRB, ResearchRubrics에서 합의된 루브릭 품질 지표로 평가. - 한계: 인프라 이슈와 judge의 편향 가능성, 루브릭 설계의 품질에 따른 편향 위험.

인프라 이슈(네트워크/API 지연 등)로 RL 루프의 완전한 비동기성의 이상적 가용성이 달성되지 못하는 경우가 있음. Judge의 루브릭 편향 가능성과 루브릭의 품질에 의한 편향 위험이 존재. 평가에 사용된 judge는 Gemini-3-Flash로, 더 강한 judge나 앙상블 사용 시 성능이 더 높아질 수 있음.