RetroAgent: 회고적 이중 내재적 피드백을 통한 해결에서 진화로의 전환

기존 LLM 에이전트는 작업 성공 여부만 따지는 일회성 학습에 치중하여 복잡한 환경에서 효율적으로 배우지 못했다. 이 논문은 에이전트가 과거의 시도를 스스로 분석하고 수치적/언어적 피드백을 생성하여 스스로 진화하게 만드는 프레임워크를 제시하여 에이전트의 지속적 적응 능력을 크게 높였다.

강화학습에서 에이전트는 마치 안개 속에서 보물(최종 보상)을 찾는 탐험가와 같다. 기존 방식은 보물을 찾았을 때만 기뻐하고 그 과정은 잊어버리지만, RetroAgent는 탐험이 끝날 때마다 '내가 지난번보다 얼마나 더 깊이 들어갔는지(수치적 피드백)'와 '어떤 길은 막혀 있었는지(언어적 피드백)'를 기록한다.

이 과정은 딥러닝의 Gradient Descent가 Loss를 줄여나가는 원리와 유사하다. 에이전트는 자신의 행동 궤적을 Embedding 공간에서 분석하여 이전 시도보다 발전한 지점을 찾아내고, 이를 보상 신호로 변환하여 정책을 업데이트한다. 단순한 성공/실패 이분법을 넘어, 실패한 시도에서도 '성공에 가까워진 정도'를 학습 신호로 활용하는 것이 핵심이다.

결과적으로 에이전트는 명시적인 메모리 버퍼를 통해 과거의 실수를 반복하지 않고, 성공적인 전략을 새로운 문제에 전이하는 능력을 갖추게 된다. 이는 모델 파라미터에만 지식을 암묵적으로 저장하던 한계를 극복하고, 명시적인 교훈을 통해 추론 능력을 실시간으로 보강하는 효과를 낸다.

RetroAgent는 에피소드가 끝난 후 자신의 궤적을 분석하는 Hindsight Self-Reflection 메커니즘을 핵심으로 한다. 이 메커니즘은 두 가지 형태의 피드백을 생성한다. 첫째는 수치적 피드백으로, 하위 작업 완료율을 0에서 1 사이의 스칼라 값인 잠재 점수(Potential Score)로 추정한다. 둘째는 언어적 피드백으로, 궤적에서 추출한 실행 가능한 교훈(Actionable Lessons)을 텍스트 형태로 생성하여 메모리 버퍼에 저장한다.

수치적 피드백은 능력 진화 보상(Capability-Evolution Reward, $R^{int}$)으로 변환된다. 현재 iteration $k$에서의 잠재 점수 $\phi$와 해당 작업의 과거 최고 평균 성공률 $\Phi_x$의 차이를 계산하여 $\max(0, \phi - \Phi_x)$를 구한다. [입력: 현재 잠재 점수와 과거 기준점] → [연산: 두 값의 차이를 구하고 음수면 0으로 처리] → [결과: 개선된 정도를 나타내는 수치] → [의미: 에이전트가 이전 시도보다 얼마나 발전했는지를 나타내는 내재적 보상]이다.

메모리 검색에는 SimUtil-UCB 전략을 사용한다. 현재 작업과 메모리 항목 간의 코사인 유사도(Semantic Relevance), 해당 교훈이 과거에 얼마나 도움이 되었는지에 대한 지수 이동 평균 점수(Reflection Utility), 그리고 특정 메모리만 반복 사용되는 것을 방지하기 위한 UCB 기반 탐색 보너스를 결합한다. 최종 점수 $S$는 유사도와 UCB 점수의 가중 합으로 계산되며, 상위 $k$개의 교훈이 에이전트의 프롬프트에 주입된다.

ALFWorld 벤치마크에서 RetroAgent(RL-Trained)는 95.6%의 성공률을 기록하여 기본 GRPO(77.3%) 대비 18.3%p 향상된 성능을 보였다. WebShop에서는 82.3%의 성공률로 기존 SOTA인 GiGPO(72.8%)를 크게 앞질렀다. 특히 계획 능력이 중요한 Sokoban에서는 38.3%의 성공률을 달성하여 GRPO(11.2%) 대비 27.1%p라는 비약적인 성능 향상을 확인했다.

Ablation Study 결과, 수치적 피드백과 언어적 피드백을 모두 사용했을 때가 단일 피드백만 사용했을 때보다 높은 성능과 궤적 다양성(Vendi Score)을 보였다. 또한, 단순히 성공한 궤적만 분석하는 것보다 성공과 실패 궤적을 대조하는 Pairwise Induction 방식이 더 정확한 잠재 점수와 고품질 교훈을 생성하는 것으로 나타났다.

학습 효율성 측면에서 RetroAgent는 GRPO가 도달하는 최고 성능 지점에 도달하기까지 필요한 학습 시간을 각각 46%(In-Context 변형) 및 32%(RL-Trained 변형) 단축시켰다. 이는 내재적 피드백이 탐색 효율을 높여 더 빠른 수렴을 유도함을 의미한다.

RetroAgent는 의사결정 정책(Decision Policy)과 반성 정책(Reflection Policy)을 공동 최적화하는 구조를 가질 수 있다. 의사결정 정책은 GRPO 알고리즘을 사용하여 외부 보상과 내재적 보상의 합을 최대화하도록 학습된다. 반성 정책은 REINFORCE 알고리즘을 사용하여 에이전트의 자기 평가(성공 예측) 정확도를 높이는 방향으로 학습된다.

메모리 버퍼는 (작업 지시, 교훈, 궤적, 유용성 점수, 검색 횟수, 결과 지표)의 튜플로 구성된다. 검색 시에는 frozen sentence encoder(all-MiniLM-L6-v2)를 사용하여 작업 지시를 임베딩하고 코사인 유사도를 계산한다. 유용성 점수 $u_i$는 에피소드 성공 여부에 따라 $\beta_{util}$ 계수를 사용한 지수 이동 평균으로 업데이트된다.

학습 시에는 전체 샘플링 그룹의 절반은 메모리 보강 없이 탐색을 수행하고, 나머지 절반은 메모리에서 추출된 교훈을 프롬프트에 포함하여 활용을 수행하는 전략을 취한다. 이는 궤적의 다양성을 유지하면서도 과거의 지식을 효과적으로 내면화하기 위한 설계이다. 실험 결과, 이러한 이중 피드백은 학습 과정에서 정책 가중치에 흡수되어 테스트 시점에 메모리 검색 없이도 높은 성능을 유지하는 일반화 능력을 보여주었다.

반성 정책을 공동 최적화할 때 보조적인 반성 손실(Auxiliary reflection loss)이 주 정책의 그래디언트 신호를 방해하여 성능을 약간 저하시킬 수 있는 다중 목적 최적화 간섭 문제가 존재한다.