GRPO, Dr. GRPO 및 DAPO는 하나의 수에 대한 세 연산: 그룹 표준편차 항등식

언어모델의 검증 가능한 보상 학습에서 동일한 프롬프트에 대해 여러 답안을 샘플링하는 관행은 모델 불확실성 측정과 학습 신호 형성의 핵심이다. 이 논문은 그 그룹 내 정답표시의 표준편차 σ가 정규화 항이 아니라 학습 신호의 크기 자체이며, σ를 어떻게 처리하느냐에 따라 GRPO·Dr. GRPO·DAPO의 목적함수와 학습 궤적이 달라진다고 수식적·실험적으로 보였다. 실무적으로는 그룹 크기 선택과 동적 샘플링 여부가 학습 예산과 난이도별 가중치 배분을 결정하는 기준이 된다.

강화학습 환경에서 자동 채점기는 각 샘플 생성에 대해 0 또는 1의 이진 보상을 반환하며 동일 프롬프트에 대해 여러 답안을 샘플링하는 이유는 모델의 불확실성을 측정하고 정답·오답 간 비교를 가능하게 하기 때문이다. 그룹 내에 정답과 오답이 섞여 있을 때만 비교가 가능하여 학습신호가 형성되고, 모든 시도가 동일하면 내부 대비가 없어 학습 신호가 소멸한다. 따라서 그룹 내 불일치량이 곧 한 프롬프트의 즉시 학습 신호이다.

논문은 한 프롬프트에 대해 G개의 답안을 샘플링하고 각 답안에 대해 ∇θ log π_θ(y_i)인 score를 계산하는 표준적인 정책 기울기 정리로 출발한다. 이진 보상(R_i∈{0,1})을 가정하면 그룹 평균 μ=k/G과 그룹 표준편차 σ=√{k(G−k)}/G가 정확히 닫힌형으로 주어지며 GRPO의 표준화된 이득(Â_i=(R_i−μ)/σ)을 per-prompt score들과 결합해 합을 취하면 항등식 g=σ( s̄+−s̄_− )이 도출된다. 이 도출은 기준선(baseline) 선택에 무관하며, k=0 또는 k=G일 때 σ=0으로 g=0이 됨을 명확히 한다.

이론적으로는 식(4)의 그룹 표준편차 항등식이 모든 차원에서 성립하며 식(6)으로 표현되는 k에 대한 이항 평균이 유한 G에서의 정확한 기대 기울기를 제공한다. G→∞ 극한은 아르크사인 변환 2·arcsin√p의 기울기 √{p(1−p)}로 수렴하고 유한 G의 첫번째 보정항은 1−1/(8Gp(1−p))로 정량화되어 실전 그룹 크기에서의 감쇠를 설명한다. 실험적으로 Big-Math 코퍼스(N=215,608)에서 GRPO의 표준화는 극단 난이도에 대한 기울기 예산을 13.9%에서 24.7%로 재배분했으며 G=8에서 무응답 비율은 약 44%로 계산되었고 제어된 훈련 실험(M=6,000)에서 무응답 예측은 R^2=0.999 수준으로 실제 반복학습 동역학을 추적했다.

전체 아키텍처는 단일 프롬프트 x에 대해 정책 π_θ가 G개의 답변을 샘플링하고 자동 채점기가 각 답변에 대해 R_i∈{0,1}을 반환하는 RLVR 설정이다. 각 답변의 score s_i=∇θ log π_θ(y_i)와 그룹 내 정답 집합·오답 집합의 평균 s̄+, s̄_−를 정의하고 표준화된 이득을 집계하면 per-prompt 업데이트가 g=(1/G)∑i Â_i s_i임을 보이는데, 이 합이 닫힌형으로 σ(s̄+−s̄_−)이 됨을 엄밀히 도출했다. 이 수식은 baseline 선택에 불감하며 임의의 파라미터 차원에 대해 성립하므로 Transformer 기반 LLM의 토큰 수준에 브로드캐스트된 이득에도 그대로 적용될 수 있다.

증명과 정량화는 이진 보상(R_i∈{0,1})과 온폴리시 첫 스텝 업데이트의 가정 하에 이루어졌다. 클리핑, KL 페널티, 오프폴리시 성분, 연속적 보상 혹은 비이진 보상 체계에 대한 동일한 단일그룹 항등식 일반화는 본문에서 제외되어 후속 작업이 필요하다. 또한 대형 언어모델의 전체 훈련 루프에서 로그를 수집해 난이도별 기울기 질량을 직접 측정하는 추가 실험이 권장된다.