루브릭 기반 온-폴리시 증류

기존의 AI 모델 학습 방식은 교사 모델의 내부 데이터(로짓)가 꼭 필요해 폐쇄형 모델을 교사로 쓰기 어려웠습니다. 이 논문은 텍스트로 된 평가 기준(루브릭)만으로도 모델을 효과적으로 가르칠 수 있음을 증명하여, GPT-5와 같은 강력한 API 모델을 활용한 효율적인 모델 학습의 길을 열었습니다.

전통적인 지식 증류는 교사 모델이 특정 단어를 선택할 확률 분포인 Softmax 직전의 Logit 값을 학생 모델이 그대로 흉내 내도록 Gradient Descent를 통해 가중치를 조정한다. 하지만 이는 교사 모델의 말투나 표면적인 문장 구조를 복사하는 데 치중하게 되어, 정작 중요한 논리적 추론 과정을 배우는 데는 한계가 있으며 폐쇄형 모델에는 적용조차 불가능하다.

ROPD는 이 문제를 해결하기 위해 '루브릭'이라는 개념을 도입한다. 교사 모델은 학생의 답변을 보고 단순히 점수를 매기는 것이 아니라, '변수 정의가 명확한가?', '계산 과정에 오류가 없는가?'와 같은 세부적인 평가 기준을 스스로 생성한다. 학생 모델은 이 구체적인 기준들에 맞춰 자신의 답변을 개선하는 방향으로 학습한다.

결과적으로 학생 모델은 교사의 특정 단어 선택 확률을 맞추려는 '모방'에서 벗어나, 정답을 도출하기 위한 '논리적 원칙'을 학습하게 된다. 실험 결과, 학생 모델은 교사의 말투를 닮으려 할 때보다 정답의 논리적 구조를 따를 때 훨씬 빠르게 성능이 향상되었으며, 일부 지표에서는 교사 모델보다 더 정확한 추론을 수행하는 '청출어람'의 결과를 나타냈다.

ROPD는 크게 두 단계로 작동한다. 첫 번째는 루브릭 유도(Rubric Induction) 단계로, 교사 모델이 입력 프롬프트에 대해 여러 개의 모범 답안을 생성하고 이를 학생 모델의 답변과 대조하여 해당 문제에 특화된 K개의 평가 기준 {ck}를 추출한다. 각 기준은 텍스트 설명(ρk)과 중요도 가중치(wk)를 포함한다.

두 번째는 루브릭 기반 검증(Rubric-based Verification) 단계이다. 검증기(Verifier)는 학생 모델이 생성한 각 답변(rollout)이 루브릭의 각 항목을 만족하는지 이진 판별(vi,k ∈ {0, 1})한다. 최종 보상 si는 가중치가 적용된 통과율인 Σ(wk * vi,k) / Σwk로 계산된다. [0 또는 1의 판별값에 가중치를 곱해 합산하고 전체 가중치 합으로 나누어 → 0에서 1 사이의 실수 보상을 얻고 → 이 값이 높을수록 루브릭을 잘 준수한 답변임을 의미한다].

학습 알고리즘으로는 GRPO를 사용한다. 동일 프롬프트에서 생성된 n개의 답변들에 대해 루브릭 보상을 계산한 뒤, 그룹 내 평균과 표준편차를 이용해 어드밴티지(Advantage)를 산출한다. [각 답변의 보상에서 그룹 평균을 빼고 표준편차로 나누어 → 상대적인 우수성을 수치화하고 → 이 수치를 극대화하는 방향으로 모델의 파라미터를 업데이트한다].

ROPD는 수학 및 과학 벤치마크에서 압도적인 성능을 기록했다. AIME25 벤치마크에서 Qwen3-4B 학생 모델은 ROPD 학습 후 68.75%의 Pass@1을 기록하여, 교사 모델인 GPT-5.2-chat의 67.08%를 추월했다. 이는 단순한 모방을 넘어 루브릭을 통한 논리 강화가 효과적임을 보여준다.

효율성 측면에서 ROPD는 기존 로짓 기반 방식(LOPD)이 최고 성능에 도달하기 위해 15.4k개의 샘플이 필요했던 것과 달리, 단 1.6k개의 샘플만으로 해당 성능을 넘어섰다. 이는 약 9.6배의 샘플 효율성 향상을 의미하며, 실제 학습 시간(Wall-clock time) 기준으로도 34.4시간에서 5.5시간으로 약 6.3배의 속도 향상을 달성했다.

교차 아키텍처 실험에서도 우수한 일반화 성능을 보였다. Gemma3-4B-it 모델을 학생으로 사용했을 때, 기존 방식들은 성능 향상이 미미하거나 오히려 하락한 반면, ROPD는 AIME24 기준 베이스 모델 대비 약 50%의 상대적 성능 향상을 이끌어내며 루브릭 기반 신호의 견고함을 입증했다.

ROPD 아키텍처는 교사 모델이 루브릭 생성기(Rubricator)와 검증기(Verifier) 역할을 동시에 수행하도록 설계되었다. 이는 별도의 보상 모델(Reward Model) 학습 없이도 고품질의 보상 신호를 생성할 수 있게 한다. 루브릭 생성 시 'Multi-teacher seeding' 전략을 사용하여 4개 이상의 교사 답변을 참조함으로써 특정 답변 스타일에 매몰되는 것을 방지한다.

수학적 기반으로서 ROPD는 토큰 단위의 로짓 매칭 대신 문장/개념 단위의 세만틱 필터링(Semantic Filtering)을 수행한다. 로짓 기반 방식은 정답과 상관없는 문체적 변동성(stochastic noise)까지 학습하려 하지만, ROPD는 루브릭을 통해 정답 도출에 필수적인 논리적 이정표만을 추출하여 학생 모델에게 전달한다.

구현 측면에서 'Blind Verification' 방식을 채택했다. 검증기는 평가 대상이 교사의 답변인지 학생의 답변인지 모르는 상태에서 섞인 답변들을 동시에 평가한다. 이는 문제 난이도에 따른 평가 편향을 제거하고 보상 신호의 변별력을 높이는 핵심적인 장치로 작용한다.

본 연구는 주로 수학, 의학, 과학과 같은 공식적인 추론 작업에 집중되어 있어, 주관적이거나 창의적인 작업에서의 성능은 아직 검증되지 않았다. 또한 루브릭 생성기와 검증기의 지시 이행 능력에 의존하므로, 메타 평가 모델의 성능이 낮을 경우 전체 증류 품질이 저하될 수 있다.