추론에서 에이전트로: 대형 언어 모델 강화학습을 위한 크레딧 할당 조사

LLM이 복잡한 추론을 넘어 도구를 사용하고 환경과 상호작용하는 에이전트로 진화함에 따라, 최종 결과에 기여한 핵심 행동을 찾아내는 크레딧 할당(Credit Assignment) 문제가 성능의 병목이 되고 있다. 이 논문은 최신 47가지 기법을 체계적으로 분류하여 에이전트 학습 효율을 극대화할 수 있는 기술적 로드맵을 제공한다.

강화학습에서 에이전트는 행동의 결과로 보상을 받으며 학습한다. 하지만 수만 개의 토큰을 생성하고 수십 번의 도구 호출을 거친 뒤에야 '성공/실패'라는 단 하나의 보상을 받는다면, 어떤 구체적인 행동이 성공에 기여했는지 알기 어렵다. 이를 크레딧 할당 문제라고 하며, 기존에는 GRPO나 REINFORCE처럼 전체 에피소드에 동일한 보상을 부여하는 방식을 사용했으나 이는 시퀀스가 길어질수록 신호 대 잡음비(SNR)가 급격히 낮아지는 한계가 있다.

이 논문은 이 문제를 해결하기 위해 보상을 잘게 쪼개어 각 행동에 배분하는 원리를 설명한다. 예를 들어, 수학 문제를 풀 때 각 단계(Step)마다 보상을 주는 Process Reward Model(PRM)이나, 특정 행동을 하지 않았을 때 결과가 어떻게 변했을지를 계산하는 사후 반사실 분석(Hindsight Counterfactual Analysis)을 통해 '결정적 순간'에 더 강한 학습 신호를 보낸다.

결과적으로 이러한 정밀한 크레딧 할당은 모델이 단순히 정답을 맞히는 것을 넘어, 어떤 추론 과정이나 도구 사용이 효율적이었는지를 명확히 학습하게 만든다. 이는 특히 10만 토큰 이상의 긴 상호작용이 필요한 에이전트 환경에서 학습 안정성과 샘플 효율성을 수배 이상 향상시키는 핵심 동력이 된다.

논문은 크레딧 할당 방법론을 크게 다섯 가지 범주로 구분하여 설명한다. 첫째, Monte Carlo(MC) 방식은 특정 지점에서 여러 번의 시뮬레이션을 수행하여 가치를 추정한다. 둘째, Temporal Difference(TD) 방식은 학습된 가치 함수를 이용해 다음 상태의 예측치로 현재 상태를 갱신하는 부트스트래핑을 활용한다.

셋째, LLM-as-Critic 방식은 LLM 자체가 가진 추론 능력을 활용해 중간 상태를 자연어로 평가하고 이를 수치적 보상으로 변환한다. 넷째, 게임 이론 기반 방식은 Shapley Value를 계산하여 각 세그먼트나 에이전트의 기여도를 산출한다. 다섯째, 정보 이론 방식은 특정 행동이 목표 달성 확률에 대한 정보를 얼마나 제공했는지를 정보 이득(Information Gain)으로 계산하여 크레딧을 부여한다.

수학적 관점에서 Generalized Advantage Estimation(GAE)을 LLM에 적용할 때, Advantage A_t를 rt + γV(st+1) - V(st)의 가중 합으로 계산한다. [현재 보상과 다음 상태 가치의 할인된 합을 입력으로] → [현재 상태 가치와의 차이를 계산하여] → [TD Error δ_t를 얻고] → [이 값이 양수이면 해당 행동이 평균보다 좋았음을 의미]하는 방식으로 가중치를 갱신한다.

추론 RL 벤치마크(GSM8K, MATH 등)에서 세그먼트 단위 최적화를 수행하는 SPO 기법은 GRPO 대비 최대 +11.0%의 성능 향상을 보였다. 또한 HICRA와 같은 계층 인식 기법은 AIME'24 벤치마크에서 +4.6%의 개선을 기록하며 정밀한 크레딧 할당의 효과를 입증했다.

에이전트 RL 환경(ALFWorld, WebShop 등)에서는 GiGPO가 GRPO 대비 최대 +12.6%의 성공률 향상을 기록했다. 특히 AgentPRM은 MC 기반 레이블링 대비 8배 더 높은 샘플 효율성을 보였으며, CARL 기법은 엔트로피 기반으로 핵심 행동에만 집중함으로써 성능 저하 없이 그래디언트 업데이트 횟수를 72% 절감하는 효율성을 달성했다.

멀티 에이전트 설정에서도 SHARP 기법이 단일 에이전트 대비 23.7%, 기존 멀티 에이전트 베이스라인 대비 14.1%의 성능 향상을 기록하며 Shapley Value 기반의 크레딧 분배가 복잡한 협업 환경에서 유효함을 확인했다.

논문은 크레딧 할당의 단위를 토큰(Token), 세그먼트(Segment), 턴(Turn), 에이전트(Agent) 수준으로 계층화하여 분석한다. 추론 RL은 주로 결정론적 전이와 검증 가능한 결과에 의존하는 반면, 에이전트 RL은 확률적 환경 전이와 부분 관측성(POMDP)이라는 난제를 안고 있다. 이를 해결하기 위해 최근 연구들은 궤적이 완료된 후 사후적으로 분석하는 Hindsight 방식을 채택하고 있다.

특히 'LLM-as-Critic' 패러다임은 고전적 RL의 가치 네트워크가 갖는 표현력 한계를 LLM의 시맨틱 이해 능력으로 극복한다. 또한 'Bifurcation Point(분기점)' 개념을 도입하여, 결과에 지대한 영향을 미치는 소수의 핵심 행동을 식별하고 여기에 학습 신호를 집중시키는 전략이 에이전트 RL의 새로운 표준으로 자리 잡고 있음을 기술적으로 상세히 설명한다.

대부분의 논문이 arXiv 프리프린트 상태로 동료 검토를 거치지 않았으며, 각 방법론의 성능 수치가 서로 다른 베이스 모델과 벤치마크에서 측정되어 직접적인 비교가 어렵다는 점을 한계로 명시했다. 또한 멀티 에이전트 크레딧 할당 연구가 아직 초기 단계이며, 초장기 시퀀스(Ultra-long horizon)에서의 효율성 문제는 여전히 미해결 과제로 남아 있다.