AgentGrad: 다중 에이전트 Prompt 최적화

왜 중요한가

다중 에이전트 시스템에서는 최종 실패만으로 어느 에이전트의 Prompt를 고쳐야 하는지 알기 어렵고, 무관한 텍스트 그래디언트를 함께 묶으면 업데이트가 일반화되지 않습니다. AgentGrad는 개입으로 책임 에이전트를 특정한 뒤 GPT-5-mini 기준 다섯 벤치마크 평균 최적화 시간을 136분으로 줄였으며, 다음으로 빠른 GEPA보다 2.5배 빠른 결과를 냈습니다.

핵심 기여

순차적 개입으로 목표 에이전트 식별

실패 사례마다 실행 순서의 역순으로 에이전트 하나에 Hint를 주고, 해당 개입만으로 정답 보상에 도달하는지 확인합니다. 실패가 해결된 에이전트를 Target Agent로 지정해 모든 Prompt를 동시에 수정하거나 순환적으로 선택하던 방식을 대체합니다.

개입 결과를 에이전트 수준 감독으로 활용

같은 중간 입력에서 원래 에이전트 출력과 Hint를 추가한 뒤의 교정 출력을 비교합니다. 두 출력의 차이를 Gradient Extractor LLM에 제공해 최종 출력 손실만 사용하는 방식보다 특정 에이전트가 바꿔야 할 행동을 세밀하게 추출합니다.

의미 기반 그래디언트 추상화

한 에이전트에 귀속된 샘플 수준 그래디언트를 공통 교정 패턴에 따라 의미적 미니배치로 묶습니다. 각 묶음을 하나의 일반화된 텍스트 그래디언트로 바꿔 서로 무관한 오류 유형이 하나의 Prompt 업데이트에 섞이는 문제를 줄입니다.

검증을 포함한 Prompt 업데이트

의미적 미니배치 규모가 큰 그래디언트부터 후보 Prompt를 생성하고, 먼저 해당 미니배치에서 성능을 확인한 뒤 검증 세트에서 다시 개선된 경우에만 Prompt를 교체합니다. 이중 검증으로 개별 사례의 개선이 전체 성능 저하로 이어지는 업데이트를 걸러냅니다.

핵심 아이디어 이해하기

일반적인 Gradient Descent는 손실을 줄이는 방향을 수치 Gradient로 계산하지만, LLM Prompt에는 연속적인 미분을 직접 적용하기 어렵습니다. Textual Gradient 방식은 실패 출력과 개선 방향을 자연어 비평으로 바꿔 Prompt Optimizer에 전달하지만, 다중 에이전트 시스템의 최종 실패만으로는 어느 에이전트가 원인인지 알기 어렵습니다. AgentGrad는 먼저 실패 실행에 에이전트별 Hint를 순서대로 주고, 최종 출력이 정답으로 바뀌는 지점을 찾습니다. 이렇게 찾은 Target Agent의 원래 출력과 개입 후 출력을 같은 중간 입력에서 비교하면, 시스템 전체의 모호한 실패가 특정 에이전트의 행동 교정 신호로 좁혀집니다. 이후 여러 사례의 교정 신호에서 이름 비식별화나 위치 비식별화처럼 공통된 패턴을 묶어 하나의 일반화된 그래디언트로 만들기 때문에, Prompt Optimizer가 서로 충돌하는 수정 지침 대신 재사용 가능한 방향을 받게 됩니다.

방법론

AgentGrad는 현재 Prompt 집합으로 학습 세트를 실행해 최대 보상보다 낮은 실패 집합을 구성합니다. 각 실패에 대해 마지막 에이전트부터 첫 에이전트까지 하나씩 Hint를 추가하고, 개입 후 보상이 최대값에 도달한 사례를 해당 에이전트의 Target Set으로 분리합니다. Hint로 교정된 Target Agent의 출력과 원래 실패 실행의 출력을 Gradient Extractor LLM에 입력해 샘플 수준 텍스트 그래디언트를 얻습니다. 이 그래디언트들을 에이전트별로 모은 뒤 Aggregator LLM이 의미적으로 유사한 사례를 묶고 공유 교정 패턴을 일반화합니다. 클러스터 크기 하한은 반복에 따라 5 → 3 → 1 → 5 순으로 순환하며, 큰 묶음은 넓은 패턴을 작은 묶음은 세부 수정을 유도합니다. Prompt Optimizer LLM은 현재 Prompt와 일반화된 그래디언트로 후보를 만들고, 해당 미니배치와 검증 세트에서 모두 성능이 오를 때만 후보를 채택합니다. 학습 중에만 Hint를 사용하며 추론 시 배포 Prompt에는 Hint를 넣지 않습니다.

주요 결과

GPT-5-mini에서 AgentGrad는 HotpotQA 73.89, HoVer 64.78, PUPA 95.17, IFBench 76.08, MATH 87.62를 기록해 다섯 벤치마크 모두에서 비교 방법보다 높은 성능을 냈습니다. 무최적화 기준 평균 개선은 +11.76점이며, Qwen3-8B에서도 평균 +9.67점으로 가장 큰 개선을 기록했습니다. GPT-5-mini 기준 평균 최적화 시간은 136분으로 GEPA의 337분보다 2.5배 짧았고, HotpotQA에서는 GEPA보다 3.2배, IFBench에서는 3.0배 빨랐습니다. HotpotQA 검증 성능은 1,000회 Rollout에서 약 70%에 도달했지만 GEPA는 비슷한 수준에 접근하는 데 6,000회 이상의 Rollout이 필요했습니다. AgentGrad의 미니배치 개선 비율은 0.72로 TextGrad 0.44와 GEPA 0.28보다 높았고, 검증 개선 비율도 0.27로 각각 0.21과 0.14를 앞섰습니다.

기술 상세

MAS를 N개의 LLM 기반 에이전트와 Prompt 집합으로 두면 입력 x에 대한 시스템 출력은 $hat{y} = Pi(x; mathcal{P})$ 로 표현됩니다. 여기서 $mathcal{P}=(p^1,dots,p^N)$ 은 각 에이전트 Prompt의 모음이고, 에이전트 n은 앞 단계 출력으로 구성된 중간 입력 $x_i^n$ 과 $p^n$ 을 받아 $hat{y}_i^n$ 을 생성합니다. AgentGrad는 학습 세트에서 보상 $r(hat{y},y)$ 가 최대 보상 $r_{max}$ 보다 작은 사례를 실패로 모읍니다. 실행 순서의 역순으로 에이전트 n에 Hint를 붙인 뒤 보상이 $r_{max}$ 가 되면, 해당 실패를 Target Set $mathcal{T}^n$ 으로 분리합니다. 같은 $x_i^n$ 에서 원래 출력 $hat{y}_i^n = pi^n(x_i^n;p^n)$ 과 개입 출력 $tilde{y}_i^n = pi^n(x_i^n;p^n,mathcal{H})$ 을 얻으므로, Gradient Extractor는 두 출력의 차이를 이용해 $delta_i^n = mathrm{LLM}_{nabla}(p^n,x_i^n,hat{y}_i^n,tilde{y}_i^n)$ 을 생성합니다. 즉 입력은 Prompt·중간 입력·실패 출력·교정 출력이고, 처리 과정은 에이전트 행동 차이의 자연어 추출이며, 출력은 Prompt 수정 지침입니다. Aggregator는 에이전트별 $Omega^n$ 을 의미적 미니배치로 나눠 일반화된 그래디언트 $bar{delta}_j^n$ 을 만듭니다. 이후 후보 Prompt를 해당 미니배치에서 먼저 평가하고 검증 세트에서도 개선될 때만 교체합니다. 구성 요소 제거 실험에서 HotpotQA/PUPA 성능은 기본 67.89/85.74에서 TI 추가 시 69.33/89.58, TI와 AS 추가 시 70.89/92.23, TI와 STGA 추가 시 71.89/93.13, 전체 AgentGrad에서 73.89/95.17로 상승했습니다.

한계점

Hint를 추가해도 해결되지 않는 실패 사례는 해당 최적화 라운드에서 제외됩니다. 다만 학습 세트를 매 라운드 다시 구성하므로 영구적으로 삭제하지 않고 이후 Prompt가 바뀐 뒤 다시 처리합니다.

실무 활용

다중 LLM 에이전트 파이프라인에서 최종 실패를 담당 에이전트와 Prompt 수준의 교정 규칙으로 연결할 때 활용할 수 있습니다. 학습 단계에서만 정답이나 제약 조건을 Hint로 제공하고, 개입으로 얻은 교정 출력을 이용해 실제 추론 Prompt를 수정하는 구조입니다.

검색·추론 파이프라인에서 어느 단계의 에이전트가 잘못된 중간 결과를 만드는지 특정하는 작업
개인정보 비식별화 에이전트에서 이름·조직·위치 등 민감 토큰 처리 규칙을 여러 사례에 걸쳐 일반화하는 작업
다중 에이전트 수학 추론 시스템에서 오류 유형별로 담당 에이전트의 Prompt를 분리해 수정하는 작업
학습 세트 개선과 검증 세트 통과를 함께 적용해 Prompt 업데이트의 과적합을 줄이는 작업

코드 공개 여부: 미확인

키워드

AgentGrad(다중 에이전트 Prompt 최적화)Sequential Intervention(순차적 개입)Textual Gradient(텍스트 그래디언트)Agent-Level Supervision(에이전트 수준 감독)Semantic Textual Gradient Abstraction(의미 기반 텍스트 그래디언트 추상화)Multi-Agent Systems(다중 에이전트 시스템)Prompt Optimization(Prompt 최적화)

용어 해설

다중 에이전트 시스템(Multi-Agent System): — 여러 LLM 기반 에이전트가 역할을 나누고 중간 결과를 주고받으며 하나의 작업을 해결하는 구조입니다. 각 에이전트의 Prompt가 행동을 결정하므로 특정 에이전트의 오류가 최종 출력까지 전파될 수 있습니다.
텍스트 그래디언트(Textual Gradient): — 수치 미분 대신 자연어 피드백으로 Prompt를 어느 방향으로 수정할지 표현하는 최적화 신호입니다. 실패 출력과 목표 또는 교정 출력을 비교해 수정 지침을 만들고, Prompt Optimizer가 이를 새 Prompt 생성에 사용합니다.
순차적 개입(Sequential Intervention): — 실패한 다중 에이전트 실행에서 에이전트를 한 번에 하나씩 수정해 어떤 에이전트의 행동 변화가 실패를 해결하는지 확인하는 절차입니다. AgentGrad는 이 결과로 업데이트 대상 Prompt를 특정합니다.
의미 기반 텍스트 그래디언트 추상화(Semantic Textual Gradient Abstraction): — 서로 다른 실패 사례에서 추출한 텍스트 그래디언트를 의미상 공통된 교정 패턴별로 묶고, 각 묶음을 하나의 일반화된 그래디언트로 압축하는 방법입니다. 무관한 오류 신호의 혼합을 줄여 Prompt 업데이트의 일반화 성능을 높입니다.
에이전트 수준 감독(Agent-Level Supervision): — 최종 시스템 출력이 아니라 특정 에이전트의 실패 출력과 개입 후 교정 출력을 직접 비교해 해당 에이전트의 Prompt 수정 신호를 만드는 방식입니다. 동일한 중간 입력에서 두 출력을 비교하므로 목표 에이전트의 행동 변화가 더 세밀하게 드러납니다.
Prompt 최적화(Prompt Optimization): — LLM의 고정된 가중치를 바꾸지 않고 에이전트 입력 Prompt를 반복적으로 수정해 검증 데이터의 보상 또는 작업 성능을 높이는 절차입니다. 후보 Prompt를 생성한 뒤 의미 기반 미니배치와 검증 세트에서 순차적으로 통과 여부를 확인합니다.

AgentGrad: 다중 에이전트 Prompt 최적화

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

LLM 확률 평가로 에이전트 궤적을 선별하는 검증 프레임워크

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

LLM 확률 평가로 에이전트 궤적을 선별하는 검증 프레임워크