PaperGym: 연구 논문을 계획 생성 학습 환경으로 전환

왜 중요한가

연구 계획은 수학 문제나 코드처럼 자동으로 맞고 틀림을 판정할 정답이 하나가 아니어서 강화학습 환경을 만들기 어렵습니다. PaperGym은 논문의 구조를 이용해 질문과 평가 기준을 분리하고, 기준 유출을 3.7%까지 낮춘 뒤 동일한 Rubric을 토큰 수준 지도와 GRPO 보상에 차례로 활용합니다. Qwen3-8B는 ResearchQA에서 73.48을 기록해 Kimi K2.6의 73.19를 웃돌았습니다.

핵심 기여

논문 구조를 활용한 학습 환경 구축

Research Goal과 Background에서 연구 질문을 만들고 Research Method와 Experimental Design에서 참조 답변을 구성해 질문과 평가 기준의 정보원을 분리했습니다. 그 결과 PaperGym-20k는 20,000개 인스턴스와 3.7%의 기준 유출률을 갖습니다.

방법 혁신과 실험 설계를 함께 평가

인스턴스별 Rubric을 방법론적 혁신과 실험 설계의 두 차원으로 구성했습니다. 전문 기준 10개가 연구별 적합성을 평가하고, 일반 기준이 완성도·구체성·타당성·효율성·윤리적 안전성을 보완합니다.

OPSD와 GRPO를 결합한 2단계 학습

첫 단계에서는 Rubric을 특권 문맥으로 본 Self-Teacher가 토큰별 지도를 제공하고, 두 번째 단계에서는 기준별 이진 판정을 GRPO 보상으로 사용합니다. 이 순서가 단독 학습과 역순보다 모든 모델 크기에서 높은 평균 점수를 기록했습니다.

PaperGym 전용 평가 자원 공개

PaperGym-20k와 함께 방법론적 혁신을 평가하는 PaperGym-Innov, 실험 설계를 평가하는 PaperGym-Design을 구성했습니다. 학습 데이터와 평가 차원을 분리해 연구 계획 생성 능력을 두 관점에서 측정합니다.

핵심 아이디어 이해하기

일반적인 언어 모델 학습은 한 개의 참조 답변을 모방하거나 응답 전체에 하나의 보상을 부여하는 방식이어서, 정답이 여러 개일 수 있는 연구 계획의 다양성과 세부 품질을 충분히 다루기 어렵습니다. 특히 질문과 평가 기준이 같은 내용에서 나오면 모델은 연구 문제를 실제로 해결하지 않고 질문의 표현을 반복해 점수를 높일 수 있습니다.

PaperGym은 먼저 논문을 Research Goal, Background, Research Method, Experimental Design의 네 단계로 나눕니다. 입력 질문은 목표와 배경에서만 만들고, 참조 답변과 평가 기준은 방법과 실험 설계에서 가져오므로 질문에 없는 해결 전략과 검증 방식이 평가에 남습니다. 이렇게 입력과 평가 정보를 분리하면 질문을 다시 쓰는 것만으로 보상을 얻기 어려워집니다.

그다음 Rubric을 연구별 여러 기준으로 바꿉니다. 모델이 후보 계획을 생성하면 각 기준이 방법론적 혁신과 실험 설계를 충족하는지 따로 판정하고, 이 결과를 전체 품질 신호로 집계합니다. 따라서 출력은 하나의 정답 문장과 일치해야 하는 대신, 연구 문제에 맞는 여러 유효한 계획을 만들면서 기준을 충족해야 합니다.

학습 순서도 역할을 나눕니다. OPSD에서는 Rubric을 본 교사가 생성 과정의 각 토큰에 방향을 주어 유효한 계획의 넓은 분포를 만들고, GRPO에서는 Rubric 판정으로 완성된 계획을 비교해 높은 보상 영역으로 정책을 이동시킵니다. 전자는 탐색 기반을 넓히고 후자는 기준을 만족하는 결과를 선택하므로, GRPO부터 시작할 때보다 안정적으로 수렴합니다.

방법론

공개 arXiv 논문의 LaTeX 원문을 자연스러운 네 단계로 분해했습니다. 각 문서 구간에서 Qwen3-235B-A22B가 단계별 정보를 추출한 뒤, 같은 단계의 결과를 모아 중복을 병합합니다. Research Goal과 Background를 입력으로 넣어 연구 질문을 만들고, Research Method와 구체적인 수치 결과를 제외한 Experimental Design을 참조 답변의 근거로 사용해 질문과 답변의 정보원을 분리했습니다.

각 인스턴스의 전문 Rubric은 두 경로에서 생성합니다. 질문만 본 기준 집합 R_Q와 질문·참조 답변을 함께 본 기준 집합 R_A를 합친 뒤 의미가 겹치는 항목을 제거하고 중요도 순으로 정렬해 상위 10개를 유지합니다. R_A는 질문만으로 알 수 없는 방법론적 결정과 실험 설계 요소를 추가하고, 일반 Rubric은 모든 인스턴스에 완성도·구체성·타당성·효율성·윤리적 안전성을 적용합니다.

첫 번째 학습 단계인 Rubric-conditioned OPSD에서는 학생 정책이 문제만 보고 온폴리시 응답을 생성하고, 교사 정책은 같은 응답 접두부에 Rubric을 추가로 입력받습니다. 학생은 교사의 토큰별 출력 분포와 자신의 분포 사이 Jensen-Shannon Divergence를 줄여 기준에 맞는 다음 토큰 선택을 학습하지만, 추론 때는 Rubric을 입력받지 않습니다. 이 과정은 하나의 참조 답변을 복사하는 대신 Rubric이 허용하는 여러 유효한 연속을 보존합니다.

두 번째 단계인 GRPO에서는 각 질문에 대해 8개 응답을 생성하고, 동결된 Base Model이 질문·참조 답변·Rubric을 바탕으로 기준별 0 또는 1 판정을 냅니다. 전문 기준 평균을 r_i,spec, 일반 기준 평균을 r_i,gen이라 할 때 응답 보상은 $r_i = \alpha r_{i,\mathrm{spec}} + (1-\alpha)r_{i,\mathrm{gen}}$ 이며, α는 전문 기준의 가중치이고 실험에서는 0.7입니다. 예를 들어 두 평균이 각각 0.8과 0.6이면 보상은 0.7×0.8+0.3×0.6=0.74가 됩니다. GRPO는 같은 그룹의 평균·표준편차로 Advantage를 표준화하고, 정책 변화 비율을 제한하는 clipping과 참조 정책에 대한 KL 패널티를 적용합니다.

주요 결과

PaperGym-20k는 Computer Science 약 50%, Physics 약 25%, Economics 약 25%로 구성된 20,000개 인스턴스입니다. 전문 기준 중 63.8%는 Method, 36.2%는 Experiment를 평가합니다. 질문만으로 기준을 직접 추론할 수 있는 비율은 PaperGym-20k에서 3.73%, PaperGym-Innov에서 4.71%, PaperGym-Design에서 4.97%로, 기존 데이터셋의 11.90%~34.10%보다 낮았습니다.

OPSD+GRPO는 Qwen3-1.7B, 4B, 8B의 다섯 벤치마크 평균을 각각 기본 모델보다 +5.56, +5.04, +4.81점 높였습니다. Qwen3-8B에서는 SFT 평균이 32.79, OPSD가 35.84, GRPO가 35.86, OPSD+GRPO가 38.55였습니다. PaperGym-20k로 학습한 모델의 ResearchPlanGen-ML 3자 비교 Overall Score 승률은 58.1%로, 같은 학습 방식으로 RubricHub Science를 사용한 모델의 28.2%와 미학습 모델의 13.7%를 앞섰습니다.

Qwen3-8B의 ResearchQA 점수는 73.48로 Kimi K2.6의 73.19보다 높았습니다. PaperGym-Innov에서는 24.47, PaperGym-Design에서는 21.88을 기록해 Intern-S1-Mini의 7.48·4.48과 Rebicon-Preview의 20.88·20.42보다 높은 값을 냈습니다. 데이터 규모를 0.5k에서 15k로 늘리자 Qwen3-4B의 Innov 점수는 16.12에서 19.21로, Design 점수는 13.89에서 16.96으로 상승했습니다.

기술 상세

데이터 전처리는 LaTeX 원문을 자연 섹션으로 나누는 map 단계와 단계별 추출 결과를 병합하는 reduce 단계로 구성됩니다. Research Goal·Background·Research Method·Experimental Design의 네 표현을 만들며, Experimental Design에서는 구체적인 수치 결과를 제외해 단순 암기를 줄입니다. 질문은 앞의 두 표현에서, 참조 답변은 뒤의 두 표현에서 생성하므로 기준 정보가 입력에 그대로 새어 들어가는 경로를 차단합니다.

전문 Rubric은 질문만으로 만든 R_Q와 질문·참조 답변으로 만든 R_A를 결합합니다. 두 집합의 중복 기준을 제거하고 중요도 순으로 상위 10개를 남기며, Methodological Innovation과 Experimental Design을 모두 포함합니다. 일반 Rubric은 모든 인스턴스에 공통으로 적용되고, 전문 기준과 일반 기준의 판정은 각각 평균으로 바뀝니다. 실험에서 최종 보상은 전문 평균에 0.7, 일반 평균에 0.3을 곱해 합산합니다.

OPSD 손실은 각 생성 토큰 위치에서 Rubric을 본 교사 분포와 Rubric 없이 생성한 학생 분포의 JSD를 평균내는 구조입니다. 입력은 문제 x, Rubric R, 학생이 만든 접두부 ŷ_이며, 연산은 교사·학생 분포 비교 후 토큰 위치와 응답 길이에 따른 평균 계산이고, 출력은 학생 정책을 갱신하는 손실입니다. stop-gradient는 교사 분포를 해당 갱신에서 고정합니다. Rubric을 본 교사는 기준에 맞는 토큰 선택을 안내하지만 추론 시 학생은 Rubric 없이 실행됩니다.

GRPO는 그룹 내 응답 o_i의 보상 r_i를 표준화해 Advantage A_i를 만들고 정책을 갱신합니다. 응답 확률 비율은 $[?25l\rho_i = \pi_\theta(o_i\mid x)/\pi_{\theta_{old}}(o_i\mid x)$ 이며, π_θ는 현재 정책, π_θold는 응답을 생성한 이전 정책, x는 질문입니다. 이 비율을 1−ε과 1+ε 사이로 제한하면 한 번의 업데이트가 지나치게 커지는 것을 막고, 참조 정책과의 KL 패널티가 정책의 과도한 이탈을 억제합니다.

학습은 bf16으로 수행했습니다. Qwen3-1.7B와 Qwen3-4B는 48GB NVIDIA A6000 4장, Qwen3-8B는 96GB NVIDIA Pro A6000 4장을 사용했습니다. OPSD에는 LoRA rank 64와 α 128, 학습률 5×10^-6을 적용했고, GRPO에는 verl·vLLM·응답 8개 샘플링·KL 패널티 0.01·학습률 1×10^-5를 사용했습니다. 4B와 8B는 자체 Verifier를 사용하고, 1.7B는 4B 모델이 Rubric을 채점했습니다.

실무 활용

PaperGym의 데이터 생성 파이프라인과 Rubric 중심 학습 순서는 연구 계획 생성 모델의 후학습에 활용할 수 있습니다. 논문에서 질문과 평가 기준을 분리하고, 기준별 자동 판정을 통해 계획의 방법론적 적합성과 실험 설계를 함께 평가하는 구조입니다.

arXiv 논문에서 연구 질문·방법·실험 설계를 추출해 연구 계획 학습 데이터 구축
Rubric을 기준별 보상으로 사용해 연구 계획 생성 모델을 GRPO로 후학습
PaperGym-Innov와 PaperGym-Design으로 방법론적 혁신과 실험 설계를 별도 평가
OPSD로 기준에 맞는 다양한 계획의 토큰 수준 사전 분포를 만든 뒤 GRPO로 보정

코드 공개 여부: 공개

코드 저장소 보기

키워드

PaperGym(연구 계획 생성 학습 프레임워크)PaperGym-20k(2만 건 연구 계획 데이터셋)Rubric(평가 기준)OPSD(온폴리시 자기 증류)GRPO(그룹 상대 정책 최적화)기준 유출ResearchQA(연구 질의응답 벤치마크)

용어 해설

기준 유출(Criterion Leakage): — 질문에 포함된 정보만으로 평가 기준을 추론할 수 있는 현상입니다. 질문과 정답·평가 기준을 같은 문서 내용에서 만들면 모델이 연구 계획의 실제 품질을 높이지 않고 질문을 바꿔 쓰는 방식으로 보상을 얻을 수 있습니다. PaperGym은 문서의 서로 다른 구간에서 질문과 기준을 추출해 이를 줄입니다.
온폴리시 자기 증류(On-Policy Self-Distillation): — 모델이 직접 생성한 응답의 토큰별 분포를 교사와 학생 역할로 비교해 학습하는 방법입니다. 교사는 정답이나 Rubric 같은 추가 정보를 보고, 학생은 문제와 생성 접두부만 본 상태에서 교사의 분포를 따릅니다. 전체 응답 하나의 점수보다 조밀한 학습 신호를 제공합니다.
그룹 상대 정책 최적화(Group Relative Policy Optimization): — 여러 응답을 한 그룹으로 생성한 뒤 각 응답의 보상을 그룹 평균과 비교해 정책을 갱신하는 강화학습 방법입니다. 별도의 학습된 Critic 없이 그룹 내 상대적 우수성을 Advantage로 계산하며, PaperGym에서는 Rubric의 기준별 판정을 응답 보상으로 사용합니다.
Rubric 기반 보상(Rubric-as-Rewards): — 응답 품질을 하나의 총점이 아니라 여러 평가 기준으로 나누고, 각 기준의 충족 여부를 보상으로 바꾸는 방식입니다. PaperGym은 연구 방법과 실험 설계를 반영한 전문 기준 및 완성도·구체성·타당성 등을 평가하는 일반 기준을 함께 사용합니다.
연구 계획 생성(Research Plan Generation): — 연구 목표를 가설·방법·실험으로 구체화하는 작업입니다. 정답이 하나로 고정되지 않아 자동 채점이 어렵지만, 논문에 기록된 연구 문제와 해결 방법을 활용하면 후보 계획을 평가할 학습 환경을 만들 수 있습니다. PaperGym은 이 과정을 질문, 기준, 보상으로 구조화합니다.

PaperGym: 연구 논문을 계획 생성 학습 환경으로 전환

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

다수결로 정답을 만드는 비지도 Self-Distillation

OPD는 정말 교사 지식을 증류하는가

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

관련 토론

댓글

관련 기사

다수결로 정답을 만드는 비지도 Self-Distillation

OPD는 정말 교사 지식을 증류하는가