포스트 트레이닝에서 간과된 이득: LLM 에이전트를 위한 Progress Advantage

LLM 에이전트는 도구 호출과 외부 관찰이 포함된 장기 상호작용에서 단계별 보상 신호가 특히 중요하지만, 단계 단위 주석이나 Monte Carlo 재평가는 비용과 실행 가능성 면에서 제한이 있다. 논문은 RL로 파인튜닝된 행동 정책과 기준 정책의 로그확률비가 stochastic MDP에서도 정확한 어드밴티지를 재현함을 보였고, 이를 통해 별도의 보상 모델 학습 없이 단계·궤적 수준의 평가와 모니터링을 가능하게 했다. 이 방법은 테스트타임 샘플 선택, 불확실성 정량화, 오류 위치 규명에서 기존의 학습 기반 PRM이나 단순 확률 기반 지표를 능가했다.

현재의 문제 설정은 LLM 에이전트가 다중 턴 상호작용과 도구 호출을 포함하는 상태ful, 확률적 전이 환경에서 동작한다는 점이다. 이러한 환경에서는 단일 궤적의 최종 보상만으로는 각 단계의 기여도를 구분하기 어렵고, 단계 주석이나 롤아웃 기반 Monte Carlo 추정은 실행 비용 또는 불가역성 때문에 현실적이지 않다. 기존의 implicit reward 접근은 결정론적 전이에서 로그확률비가 보상으로 재매개변수화되는 특성을 이용했으나, 확률적 전이에서는 미래 가치 항이 남아 로그비만으로는 보상을 복원할 수 없었다.

논문의 해결 원리는 목표를 절대 보상 복원에서 advantage(행동의 상대적 가치) 복원으로 이동시키는 것이다. advantage는 해당 상태에서 선택된 행동이 평균 행동 대비 얼마나 우수한지를 나타내며, 수학적으로 Q(s,a)-V(s)로 정의된다. KL-정규화가 포함된 RL의 최적 해 조건에서 로그확률비 β log π*(a|s)/π_ref(a|s)가 정확히 이 advantage에 대응함을 보였으므로, 포스트트레이닝으로 얻은 정책 쌍만으로도 단계별 상대적 품질 지표를 얻을 수 있다.

이 접근의 핵심 차별점은 참조 정책과의 대비(contrast)가 단순한 확률 크기보다 문제 문맥을 제거하고 행위의 순수한 품질 신호를 부각시킨다는 점이다. 결과적으로 도구 호출처럼 토큰 빈도가 낮아 원시 확률이 낮게 나오는 정당한 행동도 참조 대비 로그비에서는 긍정적 신호를 받을 수 있으며, 트래젝터리 비교·불확실성 예측·오류 위치 검출에서 더 신뢰성 있는 결정을 가능하게 한다.

전체 접근은 RL로 파인튜닝된 행동 정책 π와 그에 대응하는 참조 정책 π_ref의 로그확률비를 토큰 수준에서 계산하고 이를 어드밴티지로 해석하는 이론적 정식화에 기초한다. 구체적으로 KL-정규화 또는 클리핑 기반 surrogate objective 하에서 고정점 조건을 유도하여 β·log(π(a|s)/π_ref(a|s))가 정확한 advantage임을 증명했다. 이 수식은 상태 전이의 확률성을 제거하지 않으면서도 행동의 상대적 가치를 얻을 수 있게 한다.

실제 구현에서는 세 가지 설계 결정이 중요했다. 첫째, 행동 정책과 참조 정책의 사양으로서 공개 가능한 RL 체크포인트 쌍을 사용했다. 둘째, 토큰 단위 advantage를 단계(step) 및 궤적 수준으로 변환하기 위한 집계 전략을 도입했으며 평균, 합, 위치가중, 극단치(min/max) 등 여러 변형을 비교했다. 셋째, 원시 토큰 확률의 불안정성을 줄이기 위해 top-k 평균 토큰 확률 변형을 탐색했고, 참조 정책이 행동 정책과 너무 유사하거나 너무 먼 경우 신호가 왜곡되는 현상을 정책 병합(policy merging) 실험으로 확인했다.

클리핑 기반 알고리즘을 사용하는 경우에도 local importance ratio R(s,a)≈1을 가정하면 클리핑이 사실상 작은 KL 제약을 유도한다는 정리를 제시하여 제안한 해석이 넓은 RL 알고리즘군에 적용될 수 있음을 보였다. 따라서 PPO·GRPO처럼 명시적 KL 조항을 쓰는 경우뿐 아니라 DAPO와 같은 클리핑 surrogate를 쓰는 실무 파이프라인까지 적용 범위가 확대된다.

테스트타임 스케일링 평가에서 best-of-8 샘플링 실험은 WebShop, τ²-Airline 등 탐색적 고온 샘플링이 유리한 작업에서 Progress Advantage가 평균 성공률에서 다른 비학습 기반 및 학습 기반 점수화 방법들을 능가함을 나타냈다. 표 2의 집계에서 Gemma4 계열과 Qwen3.5 계열 전반에 걸쳐 평균 성공률 개선이 관찰되었고 일부 경우에는 task-specific PRM보다 높은 성능을 기록했다. 이 실험은 로그확률비 기반 스코어가 탐색으로 얻어진 후보 중 성공 가능성이 높은 궤적을 더 잘 골라내는 경향을 보였다는 정성적 결론을 뒷받침했다.

불확실성 정량화 실험에서는 τ²-bench의 Airline과 Retail 도메인에서 trajectory-level AUROC를 측정했고 Progress Advantage가 대부분의 모델-도메인 조합에서 Self-Certainty와 DeepConf 등의 확률 기반 방법과 사전 학습된 PRM 대비 높은 판별력을 보였다. 특히 동일 모델이 생성한 궤적뿐 아니라 다른 모델이 생성한 궤적을 외부 스코어러로 평가하는 교차 모드에서도 우수한 AUROC를 보이며 off-the-shelf 모니터링 도구로서의 가능성을 확인했다. 실패 귀속 과제에서는 Who & When 벤치마크에서 단계별 최소 보상 위치를 예측하여 결정적 오류 단계와의 일치도를 측정했고, 특정 분할에서는 task-specific 훈련 기법과 경쟁하는 성능을 기록했다.

추가 실험으로 참조 정책의 선택과 병합 방식(TIES vs WISE)에 따른 민감도 분석을 수행했고, 적절한 병합 기법이 존재할 경우 참조가 지나치게 가깝거나 멀어지는 문제를 완화해 Progress Advantage의 품질을 향상시킬 수 있음을 보였다. 또한 토큰·단계 집계 방식의 조합에 따라 작업별 최적 구성이 달라지므로 운영 전 튜닝이 필요함이 실험적으로 확인되었다.

전체 구조는 행동 정책 π*와 참조 정책 π_ref의 토큰 단위 확률을 계산하는 모듈과, 토큰별 로그확률비를 advantage로 해석하는 계산 모듈, 그리고 토큰→단계→궤적으로 집계하는 여러 전략을 결합한 파이프라인으로 구성된다. 토큰 확률은 모델의 출력 확률을 직접 사용하거나 top-k 평균 변형을 적용해 노이즈를 완화할 수 있으며, β 스케일링은 이론적 유도에서 등장하는 스케일링 인자로서 실제 튜닝 변수로 다뤄진다. 집계 전략은 작업 특성에 따라 mean, sum, position-weighted, min/max 같은 연산을 계층적으로 적용해 단계 및 궤적 점수를 도출한다.

수학적 기반은 KL-정규화된 RL 고정점과 soft Bellman 방정식의 상태별 Lagrangian 최적화 해석에 있다. 이 해석에서 per-state 최적화의 KKT 조건을 전개하면 β·log(π*(a|s)/π_ref(a|s))가 정확한 advantage임이 도출된다. 클리핑 기반 알고리즘의 경우 local importance ratio R(s,a)≈1 근처의 근사로 D_KL이 ε²/2 수준으로 억제됨을 이용해 동일한 논리를 확장했다.

참조 정책 스펙은 실제 적용에서 핵심 설계 변수로 남는다. 논문은 base 체크포인트, SFT 체크포인트, 또는 이전 라운드 정책 등 다양한 참조를 고려했고, 선형 병합(θ_α=αθ_final+(1−α)θ_base)과 간섭 민감도를 반영한 병합(TIES, WISE)을 비교했다. 실험 결과 단순 보간은 품질을 해칠 수 있으나 간섭을 고려한 병합은 적정 α 범위에서 우수한 참조를 제공해 progress advantage의 성능을 개선했다.

추가로 토큰 확률 자체의 불안정성 문제를 완화하기 위해 top-k 평균 토큰 확률 또는 위치가중 집계를 실험했다. 이들 기법은 특히 도구 호출처럼 희소한 토큰이 의미 있는 신호를 지닐 때 원시 확률 때문에 발생하는 부당한 페널티를 완화하는 데 기여했다.

방법은 행동 정책과 그에 상응하는 참조 정책의 체크포인트 쌍에 의존하므로 제공되는 체크포인트가 없거나 중간 체크포인트 접근이 불가능한 환경에서는 적용이 제한된다. 토큰 단위 로그확률은 노이즈와 희소성에 민감하며, 이로 인해 적절한 토큰·단계 집계 전략과 확률 표현(top-k 등)에 대한 튜닝이 필요하다. 또한 참조 정책을 너무 가깝게 또는 너무 멀게 선택하면 로그확률비가 작업 관련 신호보다 분포 차이에 의해 지배되어 성능이 저하될 수 있으며, 이를 완화하려면 병합 방법의 추가적 검증이 요구된다.