PivotRL: 저비용 연산으로 구현하는 고정밀 에이전트 사후 학습 프레임워크

긴 단계가 필요한 에이전트 작업에서 강화학습은 성능이 좋지만 연산 비용이 너무 높고, 지도 학습은 비용은 낮지만 일반화 능력이 부족하다는 딜레마가 있었다. PivotRL은 SFT 데이터의 효율성과 강화학습의 강건함을 결합하여, 기존 대비 4배 적은 비용으로도 고성능 에이전트 모델을 구축할 수 있음을 입증했다. 이는 대규모 언어 모델의 실무 적용 시 비용 효율적인 고도화 경로를 제시한다.

에이전트 모델이 복잡한 작업을 수행할 때, 모든 단계가 똑같이 중요한 것은 아니다. 기존의 Supervised Fine-tuning(SFT)은 전문가의 정답을 그대로 따라가게만 학습하므로, 정답 경로에서 조금만 벗어나도 모델이 당황하여 실패하게 된다. 이는 Gradient Descent 과정에서 정답 궤적 이외의 공간에 대한 정보가 부족하기 때문이다.

PivotRL은 이 문제를 해결하기 위해 '결정적 순간(Pivot)'에 집중한다. 이는 모델이 여러 시도를 했을 때 어떤 것은 성공하고 어떤 것은 실패하는, 즉 결과의 분산(Variance)이 큰 지점이다. 딥러닝의 기초 개념인 Fisher Information 관점에서 보면, 이러한 분산이 큰 지점일수록 정책 업데이트를 위한 강력한 Gradient 신호를 제공한다. PivotRL은 SFT 데이터에서 이러한 지점들을 미리 골라내어 그곳에서만 집중적으로 강화학습을 수행한다.

또한, 정답과 글자 하나하나가 똑같아야 점수를 주는 엄격한 방식 대신, 결과적으로 같은 목적을 달성하면 보상을 주는 방식을 택한다. 이는 Softmax 분포 상에서 정답과 유사한 의미를 지닌 여러 행동들에 확률 질량을 골고루 배분하게 만든다. 결과적으로 모델은 정답을 단순히 암기하는 것이 아니라, 문제 해결의 핵심 원리를 학습하게 되어 처음 보는 상황에서도 유연하게 대처할 수 있게 된다.

PivotRL의 방법론은 크게 오프라인 Pivot 선정과 온라인 강화학습 업데이트 두 단계로 나뉜다. 먼저 SFT 데이터셋의 모든 중간 단계(Turn)를 대상으로 정보량을 측정한다. [Reference Policy를 사용하여 각 단계에서 K번의 샘플링 수행] → [도메인 검증기로 각 샘플의 성공 여부 확인] → [성공과 실패가 섞여 있어 보상의 분산이 0보다 큰 지점 추출] → [학습용 Pivot 데이터셋 구축]. 이 과정을 통해 학습 효율이 낮은 '너무 쉽거나 너무 어려운' 단계를 걸러낸다.

두 번째 단계에서는 선정된 Pivot에서 GRPO 알고리즘을 적용하여 모델을 최적화한다. [Pivot 상태에서 여러 개의 행동 샘플링] → [각 행동에 대해 짧은 롤아웃을 실행하여 기능적 성공 여부 판단] → [그룹 내 평균 보상을 기준으로 각 샘플의 Advantage 계산] → [KL-divergence 제약 조건을 포함한 목적 함수 최적화]. 여기서 보상 함수 r_func는 1[a ∈ M(s)] 형태로 정의되며, 이는 행동 a가 해당 상태 s에서 허용 가능한 행동 집합 M(s)에 포함되는지를 나타내는 지시 함수이다. 이 계산을 통해 모델은 정답 궤적에 얽매이지 않고도 목표를 달성하는 최적의 정책을 찾아간다.

PivotRL은 4가지 주요 에이전트 도메인(대화형 도구 사용, 소프트웨어 공학, 터미널 제어, 웹 브라우징)에서 SFT 대비 압도적인 성능을 보였다. In-domain 벤치마크에서 SFT가 베이스 모델 대비 +9.94% 향상된 반면, PivotRL은 +14.11%의 향상을 기록했다. 특히 BrowseComp 벤치마크에서는 SFT가 성능이 하락(-1.00%)하는 동안 PivotRL은 +8.80%의 큰 폭의 개선을 달성했다.

가장 주목할만한 결과는 OOD(Out-of-Domain) 유지 능력이다. SFT는 특정 에이전트 작업을 학습한 후 수학(AIME25 -19.72%), 코딩(Scicode -11.39%) 등 관련 없는 분야에서 심각한 성능 저하를 겪었으나, PivotRL은 8개 OOD 벤치마크 평균 +0.21%의 변화만을 보이며 베이스 모델의 범용 지능을 그대로 유지했다.

효율성 측면에서도 SWE-Bench Verified 기준, 기존 End-to-End RL 방식과 대등한 정확도(32.67%)를 달성하는 데 필요한 롤아웃 턴 수가 약 4배 적었으며, 실제 학습 시간(Wall-clock time)은 약 5.5배 단축되는 성과를 거뒀다. 이는 Pivot Filtering이 불필요한 연산을 획기적으로 줄였음을 증명한다.

PivotRL의 핵심 아키텍처는 SFT의 데이터 구조를 강화학습의 상태 공간으로 재활용하는 데 있다. 이론적으로 Theorem 3.2를 통해 Fisher Information Norm이 보상의 표준편차에 비례함을 증명함으로써, 왜 분산이 큰 Pivot에서 학습 신호가 극대화되는지를 수학적으로 뒷받침했다. 이는 무작위로 중간 단계를 선택하는 방식보다 Pivot 선택 방식이 왜 더 빠른 수렴을 보장하는지에 대한 근거가 된다.

또한 Theorem 3.3을 통해 Functional Reward 기반의 RL 업데이트가 Reference Policy의 확률 분포를 어떻게 변형시키는지 분석했다. 이 분석에 따르면, PivotRL은 허용 가능한 행동 집합(Acceptable actions) 내에서의 상대적 순위와 그 외 집합에서의 상대적 순위를 모두 보존한다. 이러한 '순위 보존 특성' 덕분에 모델이 특정 작업에 과적합(Overfitting)되지 않고, 학습과 무관한 타 도메인에서의 성능을 안정적으로 유지할 수 있게 된다.

구현 측면에서는 NVIDIA의 NeMo-RL 라이브러리를 기반으로 하며, 대규모 분산 환경에서 효율적인 온폴리시 샘플링과 업데이트가 가능하도록 설계되었다. 특히 SWE-Bench와 같은 롱호라이즌 작업에서 전체 경로를 롤아웃하지 않고 단일 턴 수준의 검증만으로도 충분한 학습 신호를 생성할 수 있음을 보여주어, 에이전트 학습의 새로운 패러다임을 제시했다.

현재 PivotRL은 프로그램적으로 검증 가능한(Verifiable) 보상이 존재하는 도메인에서 가장 효과적이다. 향후 연구에서는 LLM-as-a-judge나 프로세스 보상 모델(PRM)과 같이 비프로그래밍 방식의 검증기를 통합하여 더 넓은 범위의 작업으로 확장할 필요가 있다.