실행 Trace로 LLM Agent Harness를 자동 개선

왜 중요한가

LLM Agent는 장기 작업에서 작은 실행 오류가 누적되기 때문에 모델 자체를 바꾸지 않고도 외부 Harness를 지속적으로 개선하는 방법이 필요합니다. AutoSaddler는 실패 Trace를 깊게 조사하고 Prompt·Tool·Middleware를 표적 수정한 뒤 개발 세트 일반화까지 확인해, GAIA2·SWE-Bench Pro·Terminal-Bench 2.0에서 기본 Harness보다 각각 9.0, 9.6, 10.0 percentage points 높은 성능을 기록했습니다.

핵심 기여

실행 Trace 기반 오프라인 Harness 최적화

Harness 개선을 Prompt, Tool, Middleware를 탐색하는 오프라인 학습 문제로 구성했습니다. Mini-Batch 작업에서 실패 Trace를 수집하고 후보 Harness를 반복 평가해 rollout 예산 안에서 업데이트를 선택합니다.

깊은 진단과 구조화된 Patch 생성

Diagnosis-Patch Agent가 실패 Trace와 Harness 코드베이스를 단계적으로 탐색해 의심 원인과 대안 가설을 찾습니다. 이후 Capability Patch와 Steering Patch를 Prompt·Tool·Middleware 범주에 맞춰 생성해 무제한 코드 편집보다 표적 수정에 집중합니다.

일반화를 반영한 업데이트 선택

Patch가 Mini-Batch에서 좋아졌을 때 개발 세트에서도 추가 평가하고, Reflection 결과와 성능 신호를 EvoDAG에 저장합니다. 이 절차가 특정 실행 하나만 고치는 과도한 Hook이나 Tool 변경을 차단해 새로운 작업군의 회귀를 줄입니다.

세 Agent Benchmark에서의 검증

GAIA2, SWE-Bench Pro, Terminal-Bench 2.0에서 AutoSaddler를 평가하고 GEPA와 Meta-Harness와 비교했습니다. 테스트 Pass@1은 기본 Harness 대비 각각 62.0% 대 53.0%, 46.9% 대 37.3%, 50.0% 대 40.0%로 높아졌습니다.

핵심 아이디어 이해하기

일반적인 LLM Agent의 최종 성공은 한 번의 답변 품질이 아니라 여러 결정과 Tool 호출이 연속해서 맞아야 좌우됩니다. 따라서 초반의 잘못된 Tool 선택이나 Middleware 제어가 뒤 단계의 입력을 바꾸고, 긴 작업에서는 작은 국소 실패가 전체 실패로 누적됩니다. AutoSaddler는 모델 가중치 대신 Agent 주변 Harness를 학습 대상으로 삼습니다.

기존 Prompt 최적화는 실패 이유를 짧은 Reflection으로 추정하고 Prompt 문장만 고치는 경우가 많습니다. AutoSaddler는 실패 Trace의 필요한 부분을 파일과 Context 관리 기능으로 찾아가며 Harness 코드까지 대조하고, 입력된 작업·실행 과정·소스 코드에서 원인 가설을 만든 뒤 수정 결과를 다시 실행으로 확인합니다. 이 과정을 통해 단순한 실패 설명이 아니라 실제 Tool 인터페이스, Agent Loop, Hook의 동작을 바꾸는 Patch가 만들어집니다.

Patch는 Prompt·Tool·Middleware 세 계층으로 나뉘며, 실행 코드나 orchestration을 바꾸는 Capability Patch와 문구를 고치는 Steering Patch로 구분됩니다. 초기에 Capability Patch를 탐색하고 이후 Steering Patch로 전환하는 Phased Patch Scheduling이 수정 범위를 조절합니다. 예를 들어 새 Tool 추가, Tool parameter 수정, Loop 변경은 실행 능력을 늘리고, Prompt Rule이나 Tool Description 수정은 기존 실행 구조의 사용 방식을 조정합니다.

각 Patch는 같은 Mini-Batch에서 성공률이 올랐는지 확인하는 것만으로 확정되지 않습니다. 개발 세트에서 새 작업군에도 성능이 유지되는지 평가하고, Reflection Agent가 fixed·regressed·still-failing·still-passing 사례를 비교해 EvoDAG에 기록합니다. Evolution Agent는 이 그래프의 여러 계보에서 유효한 Patch를 재조합해 다음 Harness를 만들므로 특정 Trace에만 맞춘 수정의 고착을 줄입니다.

방법론

AutoSaddler는 학습·개발·테스트 작업을 분리하고 학습 작업을 Mini-Batch로 나눕니다. 현재 Harness Hₙ을 Mini-Batch에서 실행해 성공 및 실패 Trace를 모은 뒤 Diagnosis-Patch Agent가 Harness 코드와 Trace의 관련 세부 정보를 단계적으로 조회하고, 의심 원인과 대안 가설을 바탕으로 구조화된 Δθₙ을 생성합니다. 결과 Harness H′ₙ은 같은 Mini-Batch에서 이전 Harness보다 높은 경험적 성공률을 보여야 다음 검증 단계로 넘어갑니다.

Patch 공간은 Prompt, Tool, Middleware의 세 범주로 제한됩니다. Prompt에는 규칙 추가·수정이 포함되고, Tool에는 새 Tool 추가·argument 수정·구현 오류 수정·Description 수정이 포함되며, Middleware에는 PreToolUse Hook·Infrastructure 변경·Agent Loop 변경이 포함됩니다. 또한 Capability Patch 단계에서 실행 코드와 orchestration을 먼저 고친 뒤 Steering Patch 단계에서 Prompt, Tool Description, Hook reminder 같은 텍스트를 조정합니다.

Mini-Batch 성능이 개선된 Patch는 개발 세트에서 다시 평가하고, Reflection Agent는 Patch 전후 결과를 fixed·regressed·still-failing·still-passing으로 분류합니다. 이 분류와 Patch 설명, Mini-Batch 결과, 개발 세트 점수를 EvoDAG의 노드 속성으로 저장합니다. Evolution Agent는 직전 후보만 이어가지 않고 그래프의 여러 Harness에서 유효한 변경을 조합해 다음 후보를 만들며, rollout 예산이 끝나면 개발 세트 점수가 가장 높은 후보를 테스트 세트에서 한 번 평가합니다.

주요 결과

세 Benchmark의 테스트 Pass@1에서 AutoSaddler는 기본 Harness보다 모두 높은 점수를 기록했습니다. GAIA2에서는 Default Agent의 53.0%에서 62.0%로 9.0 percentage points, SWE-Bench Pro에서는 SWE-agent의 37.3%에서 46.9%로 9.6 points, Terminal-Bench 2.0에서는 Terminus 2의 40.0%에서 50.0%로 10.0 points 높아졌습니다. 자동 Baseline 중 최고 점수와 비교해도 GAIA2는 54.6%에서 62.0%, SWE-Bench Pro는 42.5%에서 46.9%, Terminal-Bench 2.0은 43.3%에서 50.0%로 개선됐습니다.

최적화 효율에서도 차이가 나타났습니다. GAIA2 개발 세트에서 AutoSaddler는 약 1,000회의 전체 task execution으로 72.3% 정확도에 도달했지만, GEPA와 Meta-Harness는 약 2,800회 실행 뒤 각각 64.6%와 61.5%에서 포화됐습니다. 학습에 사용한 rollout만 세면 AutoSaddler의 최고 개발 세트 점수는 147 traces 뒤에 도달해 Meta-Harness의 1,400 traces보다 약 10배 적은 실행으로 얻어졌습니다.

세 가지 구성 요소를 제거한 GAIA2 Ablation에서는 깊은 진단 제거 시 62.0%에서 57.8%, 구조화된 개입 제거 시 56.9%, 일반화 인지 선택 제거 시 50.6%로 떨어졌습니다. 일반화 인지 선택을 빼면 Mini-Batch의 fix rate는 비슷했지만 회귀율 추세가 iteration당 -0.24 percentage points가 아니라 +0.16 points로 증가했습니다. 구조화된 개입이 없을 때 Patch의 91.5%가 Steering에 몰렸지만, AutoSaddler는 New Tool 83%, Loop Change 71%, Infra Change 67%의 높은 acceptance rate를 가진 Patch 유형을 전체의 25% 이상으로 늘렸습니다.

기술 상세

Harness parameter는 Prompt 지침, Tool 및 인터페이스, Middleware의 runtime control logic으로 구성됩니다. Agent가 작업 x를 수행하면 stochastic execution process에서 Trace τ와 최종 출력이 생성되며, LLM sampling·Tool-use decision·환경 상호작용이 실행 분산을 만듭니다. 최적화 목표는 작업 분포에서 최종 출력의 정확도 또는 성공 여부를 평균적으로 높이는 것이고, 실제 구현에서는 각 후보를 rollout 예산 K 안에서 평가한 뒤 개발 세트 경험적 점수가 가장 높은 후보를 반환합니다.

Diagnosis-Patch Agent는 실패 Trace 전체를 한 번에 요약하지 않고 CA-SDK의 file access와 context management를 이용해 관련 기록과 Harness 소스를 점진적으로 조회합니다. Patch 생성 시 평가 코드와 Benchmark 데이터에 대한 접근은 막고 기능 구현에 필요한 소스 파일만 노출합니다. 이 제한은 수정 후보를 Prompt·Tool·Middleware 범주에 묶어 원인과 변경 위치가 연결되도록 하며, Capability Patch와 Steering Patch에 서로 다른 탐색 순서를 적용합니다.

Reflection Session은 Patch 전후의 동일 Mini-Batch 실행을 대응시켜 고쳐진 사례, 새로 실패한 사례, 계속 실패한 사례, 계속 성공한 사례를 분리합니다. 개발 세트 평가가 실행되면 Mini-Batch에서 좋아졌더라도 다른 작업군에서 회귀하는지 추가로 확인합니다. 실제로 일반화 인지 선택을 제거한 설정은 iteration 21에서 send_progress_message_to_user라는 새 Tool을 추가하고 send_message_to_user Hook을 광범위하게 전환한 뒤 회귀율이 8%에서 22%로 증가했지만, AutoSaddler는 Reflection을 통해 이런 과도한 변경을 차단했습니다.

EvoDAG는 이전 Harness를 노드로, 부모와 자식 사이의 Patch diff를 간선으로 저장하는 방향성 비순환 그래프입니다. Evolution Agent는 마지막 후보 하나만 수정하지 않고 그래프의 여러 계보에서 Patch와 lesson을 골라 조합해 다음 Harness를 만듭니다. GAIA2에서 깊은 진단은 Patch-only 설정보다 최적화 단계당 평균 6.2회 더 많은 Tool call과 5.8회 더 많은 file access를 사용했으며, Epoch 1 종료 시 accepted patch 수가 13 대 5로 늘어 성능 개선에 필요한 탐색을 확장했습니다.

한계점

논문은 Harness 최적화가 rollout 예산과 optimizer-side 비용을 요구하며, Patch마다 실행 평가가 필요하다는 점을 전제로 합니다. AutoSaddler는 Patch당 optimizer-side monetary cost가 다소 높지만 선택적 평가로 GAIA2 개발 세트 67.7%에 391회의 task-agent rollout으로 도달했습니다. 또한 실험의 기본 LLM은 Claude Opus 4.6이며, 다른 모델로의 전이는 GAIA2에서 Haiku 4.5로 확인한 결과에 한정됩니다.

실무 활용

AutoSaddler는 장기 작업 Agent의 모델 가중치를 재학습하지 않고 Prompt·Tool·Middleware를 실행 Trace 기반으로 고치는 개발 단계에 활용됩니다. 학습 작업에서 후보를 만들고 개발 세트에서 일반화를 확인하므로, 새 모델이나 새 도메인으로 Harness를 옮길 때 반복적인 수동 조정 부담을 줄이는 방식입니다.

SWE-Bench Pro처럼 Repository별 작업군이 다른 Software Engineering Agent에서 학습 Repository의 실패 Trace를 진단하고 Tool·Loop Patch를 만든 뒤, 다른 Repository 개발 세트에서 회귀 여부를 확인할 수 있습니다. 새 Tool이나 argument가 필요한 오류는 Capability Patch로 처리하고, Tool Description이나 Prompt Rule 충돌은 Steering Patch로 처리합니다. 특정 Repository의 한 Trace만 통과시키는 변경은 개발 세트 성능과 Reflection 결과를 기준으로 제외할 수 있습니다.
Terminal-Bench 2.0처럼 System Administration, Machine Learning, Cybersecurity 작업이 섞인 환경에서 Agent의 Middleware와 Tool 구성을 반복 개선할 수 있습니다. Mini-Batch에서 새 Tool 추가나 Infrastructure 변경을 검증하고, 개발 세트에서 다른 작업군의 Pass@1이 유지되는지 확인합니다. 테스트 세트는 최종 선택 뒤 한 번만 평가하므로 테스트 피드백으로 추가 수정하지 않는 평가 절차도 함께 적용할 수 있습니다.

코드 공개 여부: 공개

코드 저장소 보기

키워드

LLM Agent(대규모 언어 모델 기반 Agent)Harness 최적화실행 Trace 진단구조화된 PatchEvoDAG일반화 인지 선택장기 작업 추론

용어 해설

Harness 최적화(Harness Optimization): — LLM agent의 외부 실행 계층을 개선하는 방법입니다. Prompt, Tool, Middleware의 설정과 제어 로직을 실행 trace에서 얻은 실패 신호로 수정하고, 새 작업군에서도 성능이 유지되는지 검증하는 과정입니다.
장기 작업 Agent(Long-Horizon Agent): — 여러 단계의 추론과 Tool 사용, 환경 상호작용을 연속적으로 수행하는 Agent입니다. 한 단계의 작은 오류가 이후 결정에 누적되어 전체 작업 실패로 이어질 수 있어 실행 안정성이 중요합니다.
실행 Trace(Execution Trace): — Agent가 작업을 수행하는 동안 발생한 추론, Tool 호출, 환경 상호작용과 최종 출력을 기록한 데이터입니다. AutoSaddler는 실패 Trace와 Harness 코드를 함께 조사해 수정 원인을 찾습니다.
Mini-Batch 학습(Mini-Batch Learning): — 전체 학습 작업을 작은 묶음으로 나누어 반복적으로 평가하고 업데이트하는 방식입니다. 이 논문에서는 각 Mini-Batch의 실패 Trace로 Patch를 만들고 같은 묶음에서 개선 여부를 확인한 뒤 개발 세트에서 일반화를 평가합니다.
일반화 인지 선택(Generalization-Aware Selection): — 관찰된 학습 작업만 고치는 업데이트가 아니라 새로운 작업군에서도 성능을 유지하는 Harness 변경을 선택하는 기준입니다. 개발 세트 평가와 Reflection 결과를 사용해 과도하게 넓은 Patch와 회귀를 걸러냅니다.
Pass@1: — 각 작업에서 한 번의 실행으로 정답 또는 성공 조건을 통과한 비율입니다. 논문은 세 번 반복 실행한 테스트 결과의 평균과 표준편차를 사용해 Harness별 장기 작업 성공률을 비교합니다.

실행 Trace로 LLM Agent Harness를 자동 개선

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

EnvHarness로 정적 환경을 정책에 맞춰 재구성

작업마다 스스로 진화하는 에이전트 하네스

SWE-bench와 GRPO를 활용한 LLM 소프트웨어 버그 수정 학습 프레임워크

AI가 다른 AI의 코딩 성능을 개선하는가

과학 소프트웨어 수정을 평가하는 SWE-bench Science

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

EnvHarness로 정적 환경을 정책에 맞춰 재구성

작업마다 스스로 진화하는 에이전트 하네스

SWE-bench와 GRPO를 활용한 LLM 소프트웨어 버그 수정 학습 프레임워크

AI가 다른 AI의 코딩 성능을 개선하는가

과학 소프트웨어 수정을 평가하는 SWE-bench Science