일반적 추론을 위한 전이성 인식 커리큘럼: 다중 도메인 RLVR의 자동화된 샘플링 전략

다중 도메인에서 reasoning을 학습할 때 어느 도메인을 얼마나 자주 샘플링할지는 최종 성능에 큰 영향을 미친다. 기존의 학습성(learnability) 중심 커리큘럼은 정책이 현재 잘 학습되는 도메인을 우선하지만 그 업데이트가 다른 도메인에 전이되는지는 고려하지 못한다. 본 논문은 학습 중 계산되는 그래디언트 기하학을 이용해 도메인간 전이성을 추정하고 이를 커리큘럼 신호로 결합해 전반적 다중 도메인 성능을 향상시켰다.

강화학습 기반의 reasoning에서는 각 도메인이 정책에 제공하는 최적화 신호의 방향성과 크기가 다르다. 기존 접근은 주로 보상 분산이나 on-policy advantage 크기 같은 로컬 신호로만 어떤 도메인을 샘플링할지 결정했는데, 이는 그 도메인에서의 업데이트가 다른 도메인들에 긍정적 영향을 주는지 판단하지 못했다. 이 논문은 그래디언트의 방향성 정렬을 전이성 지표로 사용해, 로컬 학습 신호와 전이성 신호를 결합하면 전체 도메인에 걸친 개선을 더 잘 유도할 수 있음을 핵심 직관으로 삼았다.

전체 접근은 밴디트 템플릿 위에서 동작하는 샘플링 분포 적응으로 요약된다. 각 학습 스텝에서 선택된 도메인에 대해 GRPO를 적용하고 그 스텝에서 얻은 절대 이득의 평균을 학습성 지표로 계산했다. 동시에 그 스텝의 GRPO 그래디언트를 미리 정의한 무작위 투영 행렬 P로 투영한 단위 벡터 v_t를 얻어 해당 도메인의 EMA h_m을 갱신했다.

주요 벤치마크 집합 14개에 대한 매크로 평균에서 TAC는 Qwen3-1.7B에서 기준 대비 +1.8pp 개선을 기록했고 Llama3.2-3B에서는 +1.6pp 개선을 기록했다. 특정 데이터셋에서는 Zebra에서 +9.8pp, FinQA에서 +7.5pp 등 도메인별 대규모 이득도 관찰되었다. 전이성 항을 제거한 SEC(learnability-only)와 수동 스케줄인 M2O에 비해 TAC는 불균형 데이터 예산에서도 더 안정적인 성능을 유지했다.

GRPO는 각 쿼리에서 K=4 롤아웃을 그린 뒤 그룹정규화된 advantage A^{(k)}를 계산하고 이를 클리핑된 surrogate objective로 최적화한다. 본 연구는 이 GRPO 과정에서 얻은 그래디언트를 마지막 N=4 트랜스포머 레이어로 제한한 뒤 Rademacher JL 투영으로 r=4096 차원으로 스케치해 v_t를 얻었다. 각 도메인별로 γ=0.8의 EMA를 유지해 h_m을 갱신하고 K_c=2 스텝마다 모든 초기화된 도메인에 대한 쌍별 코사인을 계산해 전이성 ρ_m을 얻은 뒤 δ=0.8, δ_s=0.9 등의 시간적 평활과 min–max 정규화를 적용했다.

TAC의 설계 범위는 샘플링 분포 조정에 한정되어 있으며 옵티마이저, 보상 모델, 정책 아키텍처와 같은 다른 축의 개선을 대체하지 않는다. 본 실험은 RLVR(검증 가능한 보상) 환경에 집중되어 있어 인간판정에 의존하는 비검증 보상 환경으로의 직접 확장은 논문에서 검증되지 않았다. 전이성 신호는 투영과 EMA 설계에 민감할 수 있으므로 하이퍼파라미터 튜닝이 필요한 경우가 있다.