장기 LLM agent를 위한 저메모리 ES Fine-tuning

왜 중요한가

긴 상호작용과 희소 보상을 가진 LLM agent에서는 Agentic RL의 역전파 메모리 부담과 turn별 Credit Assignment가 동시에 커집니다. Agentic ESOpt는 전체 trajectory의 보상을 하나의 파라미터 perturbation에 연결하고 forward-only 업데이트를 사용해, Qwen3.5-27B의 full-parameter 적응을 네 개의 NVIDIA H100 80GB GPU에서 수행할 수 있는 경로를 제시합니다.

관련 Figure

Diagram
이미지는 일반 agent가 환경을 관찰하며 여러 단계의 행동을 수행하는 동안 trajectory 길이와 branching이 증가하는 상황을 나타냅니다. 아래쪽은 Agent의 성능이 내부 모델만이 아니라 memory, tool-use, skill 같은 외부 구성요소와 환경 상호작용에 의존한다는 점을 연결합니다. 논문의 Agentic RL 한계인 장기 Credit Assignment와 외부 구성요소 최적화 문제를 설명하는 Figure 1(a)에 해당합니다.
긴 horizon의 agent trajectory가 여러 branch로 분기되고 memory·tool-use·skill이 환경과 함께 작동하는 구조를 나타낸 개념도입니다.

핵심 기여

긴 trajectory에 맞춘 파라미터 단위 보상 귀속

Agentic ESOpt는 각 perturbation으로 생성한 agent의 전체 trajectory를 환경에서 평가하고, 정규화한 보상에 perturbation을 가중해 파라미터를 갱신합니다. 따라서 동일한 최종 보상을 H개의 turn별 행동 점수로 다시 나누지 않으며, 긴 horizon에서 Agentic RL의 분산 증가를 피하도록 설계됩니다.

Inference 수준 메모리의 full-parameter Fine-tuning

각 변형 모델의 noise seed만 저장하고 파라미터에 in-place addition과 subtraction을 적용하므로 activation과 optimizer state를 유지하지 않습니다. Qwen3.5-4B Sudoku 실험에서 Agentic ESOpt는 8.41GB를 사용해 Agentic GRPO의 58.88GB보다 85.7% 낮은 GPU 메모리를 기록했습니다.

Prompt와 parameter의 동시 진화

Agentic ESOpt의 black-box trajectory feedback은 Trace2Skill이나 EoH 같은 prompt-space 또는 heuristic-space 검색과 함께 사용할 수 있습니다. 외부 prompt 업데이트와 ES parameter 업데이트를 번갈아 수행해 고정된 LLM이 이미 가진 행동만 재조합하는 한계를 완화하는 구조입니다.

Cosine 기반 perturbation 규모 조절

학습 초기에 σ를 크게 유지해 넓은 parameter neighborhood를 탐색하고, 마지막으로 갈수록 σ를 줄여 objective bias를 낮춥니다. Train-time에서는 최종 σ를 0보다 크게 남겨 regularization을 유지하고, test-time에서는 최종 σ를 0으로 줄여 현재 작업에 대한 세밀한 적응을 우선합니다.

핵심 아이디어 이해하기

긴 horizon의 LLM agent는 매 turn마다 환경을 관찰하고 행동을 선택한 뒤 여러 단계가 끝나야 성공 보상을 받습니다. Agentic RL은 최종 보상을 여러 행동의 log-probability gradient에 배분해야 하므로, horizon H가 늘어날수록 누적되는 score 항이 많아지고 희소한 결과를 개별 행동에 연결하기 어려워집니다. 이 논문은 이 문제를 개별 행동의 책임을 찾는 문제에서 하나의 정책 변화가 만든 전체 trajectory의 성과를 평가하는 문제로 바꿉니다.

Agentic ESOpt는 현재 파라미터 θ 주변에서 Gaussian perturbation σϵ를 여러 개 샘플링하고, 각 변형 모델을 환경에 투입해 전체 trajectory 보상 R을 얻습니다. 보상이 높은 변형의 perturbation은 양의 방향으로, 낮은 변형은 음의 방향으로 파라미터 업데이트에 기여하며, 결과적으로 모델이 어떤 행동을 했는지보다 어떤 파라미터 변화가 완성된 작업을 만들었는지를 학습합니다. 이 과정은 agent와 environment 사이를 미분하지 않으므로 긴 상호작용을 역전파 그래프에 저장하지 않습니다.

기존 prompt-space 검색은 LLM 파라미터를 고정한 채 prompt나 skill을 바꾸므로 frozen policy가 이미 접근할 수 있는 행동을 재조합하는 데 머뭅니다. Agentic ESOpt는 같은 trajectory와 reward를 사용해 parameter-space와 prompt-space를 함께 갱신하며, Trace2Skill 같은 skill 합성 과정에 모델 자체의 적응을 추가합니다. 따라서 입력은 perturbation과 prompt, 처리 과정은 병렬 rollout과 보상 정규화, 출력은 파라미터 및 prompt 업데이트가 됩니다.

perturbation 규모 σ는 초기에 크게 설정되어 넓은 지역을 탐색하고 후반에 작아져 현재 성능 주변을 세밀하게 조정합니다. 논문은 큰 σ가 Gaussian-smoothed objective를 만들고 sharp한 지역 최적점을 완화하지만 원래 objective와의 bias도 키운다고 설명합니다. 그래서 train-time에는 σ의 최종값을 남겨 일반화를 돕고 test-time에는 0으로 줄여 현재 문제의 결과에 집중합니다.

관련 Figure

Diagram
이미지는 Agentic GRPO 또는 PPO가 여러 trajectory를 rollout한 뒤 각 turn에 gradient를 역전파하는 흐름을 보여줍니다. Activation과 optimizer state를 저장해야 하므로 GPU 메모리와 학습 비용이 커지고, 하나의 최종 보상을 여러 turn에 배분하는 과정에서 장기 Credit Assignment가 혼란스러워집니다. 논문이 Agentic ESOpt를 도입하는 직접적인 문제 배경을 시각화합니다.
Agentic RL Fine-tuning에서 trajectory rollout과 turn-level gradient backpropagation이 긴 horizon에서 높은 비용과 불안정한 Credit Assignment를 만드는 과정을 나타낸 도식입니다.

방법론

현재 LLM 파라미터를 θ, 외부 prompt·memory·skill·tool instruction을 c, trajectory의 scalar return을 R로 두고 목표를 $J(θ;c)=E[R(τ)]$ 로 설정합니다. Agentic ESOpt는 표준 gradient 대신 $J_σ(θ,c)=E[J(θ+σϵ,c)]$ 를 탐색하며, ϵ는 평균 0과 공분산 I를 갖는 full-parameter perturbation이고 σ는 perturbation 규모입니다. 구현에서는 G개의 ϵᵢ로 생성한 agent를 rollout하고 보상 Rᵢ를 수집한 뒤, 모집단 평균 μR과 표준편차 sR로 $\hat{R}_i=(R_i-μ_R)/(s_R+ε)$ 를 계산합니다.

실제 파라미터 업데이트는 $θ_{t+1}=θ_t+(α/G)\sum_i\hat{R}_iϵ_i$ 입니다. α는 유효 update scale이고 G는 perturbation 모집단 크기이며, 입력인 정규화 보상과 perturbation을 곱해 평균낸 값이 출력 파라미터 변화가 됩니다. 정규화 보상이 양수인 샘플은 해당 방향을 강화하고 음수인 샘플은 반대 방향으로 이동시키며, noise seed만 저장하고 in-place 연산을 사용해 inference와 같은 GPU 메모리 수준을 유지합니다.

Prompt와 parameter의 co-evolution에서는 같은 iteration에서 수집한 trajectory 집합 Dₜ를 두 업데이트에 공유합니다. parameter는 Agentic ESOpt 업데이트 함수로 θₜ₊₁을 만들고, 외부 prompt optimizer는 cₜ₊₁을 생성하므로 Trace2Skill처럼 trajectory에서 skill을 합성하거나 EoH처럼 heuristic을 진화시키는 절차에 ES 업데이트를 삽입할 수 있습니다. 이 구조는 기존 외부 검색 scaffold를 바꾸지 않고 parameter adaptation을 추가합니다.

σ는 $σ_t=σ_T+(σ_0-σ_T)(1+cos(πt/T))/2$ 로 t=0부터 T까지 감소합니다. σ₀는 초기 탐색 반경, σT는 최종 반경, T는 update step 수이며, 예를 들어 t=0에서는 σ₀에 가깝고 t=T에서는 σT가 됩니다. 큰 σ는 더 넓은 perturbation을 평가하지만 Gaussian smoothing bias가 커지고, 작은 σ는 bias가 줄어드는 대신 탐색 범위가 좁아지므로 train-time과 test-time의 σT를 다르게 둡니다.

Agentic RL과의 비교는 동일한 terminal return을 어떻게 귀속하는지에 초점을 둡니다. policy-gradient 추정기는 $\hat{g}{PG}=(R-b)\sum{t=1}^{H} abla_θlogπ_θ(a_t|s_t)$처럼 H개의 action-score를 더하지만, ES 추정기는 $\hat{g}_{ES}=(R(a(θ+σϵ))-b)ϵ/σ$ 처럼 한 rollout에 하나의 parameter-score를 사용합니다. 약한 action-reward 상관과 turn별 score의 비상관을 가정하면 전자의 분산은 H에 비례하는 반면 후자는 식에 H개의 합이 직접 들어가지 않아 긴 horizon에서 상대적 이점이 생깁니다.

관련 Figure

Diagram
이미지는 현재 Agent parameter 주변에서 perturbation을 적용한 여러 rollout을 만들고, 결과 reward에 따라 optimized parameter로 이동하는 흐름을 보여줍니다. ESOpt는 trajectory 전체의 보상을 parameter 방향에 연결하므로 horizon-level credit assignment를 피하며, 아래쪽에서는 optimized prompt와 parameter를 함께 진화시킬 수 있음을 나타냅니다. 오른쪽의 최소 GPU memory requirement와 high flexibility 표시는 논문의 주요 설계 목표를 요약합니다.
Agentic ESOpt가 parameter perturbation rollout과 직접 parameter update를 사용해 장기 확장성과 prompt·parameter co-evolution을 확보하는 과정을 나타낸 도식입니다.

Diagram
입력은 task description과 current prompt이며, 여러 perturbation을 더한 LLM에서 agent rollout을 샘플링한 뒤 각 결과의 reward를 수집합니다. 다음 단계에서 정규화한 reward와 perturbation을 결합해 ES-based parameter update를 수행하고, LLM 또는 heuristic 기반 prompt update도 같은 결과를 활용합니다. 마지막 문구는 공유 rollout을 통해 prompt와 parameter의 co-evolution을 지원한다는 논문의 구현 구조를 명확히 합니다.
Task description과 current prompt에서 출발해 perturb된 LLM agent rollout, reward 수집, ES parameter update, prompt update로 이어지는 전체 처리 흐름입니다.

주요 결과

4× NVIDIA H100 80GB에서 Qwen3.5-4B Sudoku를 평가한 결과, 최소 성공 horizon H*=5에서는 Agentic PPO가 90.63%, Agentic ESOpt가 89.58%였고 H*=10에서는 강한 GRPO 설정이 67.71%, Agentic ESOpt가 62.50%였습니다. H*=15에서는 Agentic ESOpt가 53.13%로 GRPO의 40.63%보다 12.50 percentage points 높았으며, PPO는 0%로 떨어졌습니다. 이는 짧은 horizon의 일괄 우위가 아니라 horizon 증가에 따라 PPO, GRPO, ESOpt의 순서가 바뀌는 crossover입니다.

메모리와 실행 효율에서도 차이가 확인됐습니다. Qwen3.5-4B의 inference 메모리와 같은 8.41GB를 사용한 Agentic ESOpt는 GRPO의 58.88GB보다 85.7% 적었고, H*=15에서 4개 H100을 사용한 wall-clock time은 ESOpt 9.4시간, GRPO 19.0시간이었습니다. ESOpt는 GRPO의 8개 rollout보다 G=32 perturbation을 평가했지만 reference-model 평가와 backward pass를 생략해 model FLOPs와 전체 시간이 비교 가능하게 유지됐습니다.

ReAct-style Math와 DocVQA에서는 Qwen3.5-4B No Skill 기준 Agentic ESOpt가 DAPO Mean@4에서 13.8 percentage points, AIME 2026 Mean@4에서 15.0 points, DocVQA Mean@4에서 12.3 points 개선됐습니다. 세 지표 평균 개선폭은 base model 대비 13.7 points, Agentic GRPO 대비 8.3 points였으며, Trace2Skill과 결합한 설정은 세 데이터셋의 Qwen3.5-4B Mean@4에서 가장 높은 결과를 기록했습니다.

WebArena-Lite에서는 Qwen3.5-27B의 No Skill 성공률이 29.47%에서 36.16%로 6.69 points 상승했고, Trace2Skill과 결합하면 33.94%에서 36.36%로 2.42 points 상승했습니다. 자동 heuristic design에서는 동일한 평가 예산과 Sample 또는 EoH 외부 검색 구조를 유지한 채 36개 matched comparison 중 28개를 개선했으며, population 실험에서는 Qwen3.5-4B의 G를 8에서 16으로 늘릴 때 final test success가 2.95%에서 22.92%로 변했지만 Qwen3.5-9B에서는 30.21%로 유지됐습니다.

기술 상세

Agentic ESOpt의 핵심은 trajectory의 scalar reward를 token 또는 turn별 gradient로 분해하지 않고 parameter perturbation 전체에 귀속하는 점입니다. 현재 파라미터 θ에서 ϵ∈Rᵈ를 샘플링하면 θ+σϵ가 하나의 coherent policy variation이 되고, 이 변형이 환경에서 얻은 R이 해당 방향의 품질 신호가 됩니다. 따라서 policy-gradient처럼 H개의 action-score를 합산하지 않으며, 논문이 둔 약한 상관 가정 아래 ES 추정기의 분산에는 horizon H의 명시적 누적항이 없습니다.

보상은 모집단 내부 z-score로 정규화합니다. G개 reward의 평균은 $μ_R=(1/G)\sum_jR_j$ , 분산은 $s_R^2=(1/G)\sum_j(R_j-μ_R)^2$ 이며, 각 보상에서 평균을 빼고 $s_R+ε$ 로 나눠 업데이트 크기를 안정화합니다. 예를 들어 평균보다 높은 reward는 양의 $\hat{R}_i$ 가 되어 ϵᵢ 방향을 강화하고, 평균보다 낮은 reward는 음의 가중치가 되어 그 방향을 억제합니다.

Gaussian smoothing은 $J_σ(θ,c)=J(θ,c)+(σ^2/2)Tr(∇_θ^2J(θ,c))+O(σ^4)$ 로 근사됩니다. σ가 커지면 두 번째 미분의 trace에 해당하는 regularization 항의 영향이 커져 sharp한 local optimum보다 평평한 parameter neighborhood를 선호하지만, 원래 objective와의 차이도 커집니다. Cosine schedule은 이 bias와 탐색의 trade-off를 학습 단계에 따라 조절하며, σT=0인 ablation은 Sudoku에서 H*=15 성공률이 28.13%로 떨어져 train-time의 비영(非零) 최종 σ가 필요함을 뒷받침했습니다.

Agentic RL의 GRPO는 같은 task에서 얻은 G개 trajectory의 return을 group-relative advantage로 정규화한 뒤 각 turn의 policy ratio에 적용합니다. PPO는 critic Vϕ로 turn-level advantage를 추정하지만 terminal reward가 희소하면 critic warm-up 동안 신뢰할 값이 부족하고, 이후에도 H개의 action-level score를 합산합니다. Sudoku의 45-turn interaction budget에서 긴 설정의 GRPO는 초기 학습이 느렸고 PPO는 빠르게 붕괴한 반면, Agentic ESOpt는 최종 평균 turn 수 15.41로 최소 성공 horizon에 가까웠습니다.

구현은 full-parameter perturbation을 모델에 적용하고 각 변형을 별도 rollout한 뒤 원래 파라미터로 되돌리는 forward-only 방식입니다. Qwen3.5-27B WebArena-Lite 실험은 네 개 NVIDIA H100 80GB에서 수행됐으며, Agentic RL의 full-parameter 학습이 어려운 메모리 조건에서도 Agentic ESOpt는 inference-level memory 요구량을 유지했습니다. 다만 ESOpt는 G=32 또는 WebArena에서 G=8처럼 여러 독립 환경 평가를 필요로 하므로 GPU 메모리 절감과 환경 평가 비용을 서로 다른 효율 축으로 봐야 합니다.

관련 Figure

Chart
왼쪽의 Small Models는 비교적 평평한 parameter landscape에서 유용한 update direction과 무관한 sampled direction이 넓게 퍼진 모습을 나타냅니다. 오른쪽의 Large Models는 여러 local peak가 있는 복잡한 landscape에서도 sampled direction이 유용한 방향 주변에 모이는 직관을 제시합니다. 논문의 population-sensitivity 실험에서 Qwen3.5-4B는 G 증가에 크게 반응했지만 Qwen3.5-9B는 final success 변화가 0.0%였다는 결과와 연결됩니다.
Small model과 Large model의 parameter landscape에서 sampled direction과 update direction의 분포 차이를 비교한 개념도입니다.

실무 활용

Agentic ESOpt는 긴 multi-turn 작업에서 scalar environment reward만으로 LLM agent의 full-parameter를 조정하려는 학습 프레임워크입니다. inference 수준 GPU 메모리를 사용하므로 대형 web agent Fine-tuning에 적용할 수 있고, prompt·skill·heuristic 검색과 parameter 업데이트를 결합할 수 있습니다.

긴 horizon과 terminal reward를 사용하는 Sudoku 같은 reasoning agent Fine-tuning
Python 계산 도구를 사용하는 ReAct-style Math agent와 OCR·문서 이미지 분석 agent 적응
Qwen3.5-27B 규모 web agent의 WebArena-Lite task-specific parameter adaptation
Trace2Skill 또는 EoH와 결합한 skill·heuristic 및 parameter co-evolution
고정된 LLM을 사용하는 test-time search에 parameter 업데이트를 추가하는 자동 heuristic design

코드 공개 여부: 공개

코드 저장소 보기

키워드

Evolution Strategies(진화 전략)reinforcement learning(강화학습)long-horizon agentic reasoning(장기 에이전트 추론)credit assignment(기여도 할당)full-parameter optimization(전체 파라미터 최적화)parameter-context co-evolution(파라미터·컨텍스트 공동 진화)reward-weighted update(보상 가중 업데이트)cosine decay schedule(코사인 감쇠 일정)WebArena-Lite

용어 해설

Evolution Strategies: — Evolution Strategies는 모델 파라미터 주변에 무작위 perturbation을 가하고 각 변형 모델의 환경 보상을 비교해 파라미터를 갱신하는 최적화 방법입니다. 상호작용 전체를 미분하거나 역전파하지 않고 보상과 perturbation의 상관관계만 사용하므로 긴 trajectory와 대규모 모델을 다루는 데 중요합니다.
Credit Assignment: — Credit Assignment는 여러 단계의 행동으로 얻은 최종 보상을 각 행동이나 파라미터 변화에 배분하는 문제입니다. 긴 agent trajectory에서는 중간 보상이 희소하고 분기 수가 늘어나므로 어떤 결정이 성공에 기여했는지 추정하기 어려워지며, Agentic ESOpt는 이를 하나의 전체 정책 perturbation에 연결합니다.
희소 보상(Sparse Reward): — Sparse Reward는 trajectory 중간에는 거의 보상이 없고 작업이 끝난 뒤에만 성공 점수 같은 신호가 주어지는 설정입니다. 이 논문의 Sudoku와 WebArena 환경에서는 최종 결과가 여러 turn의 행동을 한꺼번에 평가하므로, turn별 gradient를 안정적으로 계산하기가 어려워집니다.
파라미터 공간 최적화(Parameter-Space Optimization): — Parameter-Space Optimization은 행동 확률의 gradient를 직접 계산하는 대신 모델 파라미터 자체에 변화를 샘플링하고 성과가 높은 방향을 선택하는 방식입니다. 입력은 현재 파라미터와 perturbation이고 출력은 보상에 가중된 파라미터 업데이트이며, 전체 파라미터 Fine-tuning을 inference 수준 GPU 메모리로 수행할 수 있다는 점이 핵심입니다.
Cosine Decay Schedule: — Cosine Decay Schedule은 최적화 초기에 perturbation 규모를 크게 두고 업데이트가 진행될수록 cosine 함수에 따라 줄이는 일정입니다. 큰 σ는 넓은 탐색과 regularization을 제공하고 작은 σ는 현재 작업 주변의 세밀한 적응을 가능하게 하므로, 탐색과 적응 사이의 균형을 조절합니다.

장기 LLM agent를 위한 저메모리 ES Fine-tuning

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

EnvACE: World Rehearsal로 환경 동역학 내재화

EvoHarness-RL: 장기 LLM 에이전트의 자기진화 하네스

작업마다 스스로 진화하는 에이전트 하네스

AgentOPSD: 로그오즈 기반 재귀적 자기증류로 턴 신용 복원

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

관련 토론

댓글

관련 기사

EnvACE: World Rehearsal로 환경 동역학 내재화

EvoHarness-RL: 장기 LLM 에이전트의 자기진화 하네스

작업마다 스스로 진화하는 에이전트 하네스

AgentOPSD: 로그오즈 기반 재귀적 자기증류로 턴 신용 복원