마지막으로 구축하게 될 하네스: AI 에이전트 하네스 엔지니어링 자동화

AI 에이전트가 특정 도메인에서 성능을 발휘하려면 프롬프트, 도구, 오케스트레이션 로직 등 복잡한 하네스 설계가 필수적이지만 이는 막대한 인간의 노력을 요구한다. 이 논문은 하네스 설계 자체를 자동화하는 2단계 루프 구조를 제안하여 사람이 개입하지 않고도 새로운 작업에 최적화된 에이전트를 신속하게 구축할 수 있는 길을 열었다.

기존의 AI 에이전트 개발은 모델 자체보다 모델을 감싸는 실행 환경, 즉 하네스(Harness) 설계에 의존한다. 하지만 하네스를 구성하는 프롬프트나 도구 호출 로직을 사람이 일일이 수정하는 방식은 확장성에 한계가 있다. 이는 딥러닝에서 가중치를 수동으로 조정하던 시기에서 오차 역전파(Backpropagation)를 통한 자동 최적화로 넘어갔던 전환점과 유사한 문제를 안고 있다.

본 논문은 하네스 수정을 하나의 최적화 문제로 정의한다. 하네스 자체를 학습 가능한 파라미터로 간주하고, 에이전트의 실행 결과(Trace)를 손실 함수(Loss function)의 입력값처럼 활용한다. Evaluator Agent가 생성한 진단 보고서는 가중치 갱신을 위한 Gradient 역할을 수행하며, Evolution Agent는 이 정보를 바탕으로 하네스라는 파라미터를 업데이트한다.

결과적으로 사람이 개입하여 코드를 고치는 대신, 시스템이 스스로 실패 사례를 분석하고 코드를 재작성하며 성능을 끌어올린다. 이는 단순한 프롬프트 최적화를 넘어 에이전트의 사고 방식과 도구 활용 전략 전체를 데이터 기반으로 진화시키는 구조를 형성한다.

전체 시스템은 Harness Evolution Loop(내부 루프)와 Meta-Evolution Loop(외부 루프)의 이중 구조로 설계되었다. 내부 루프에서는 특정 작업 t에 대해 Worker Agent WH가 실행한 결과인 실행 추적 데이터 τ를 생성한다. [τ와 작업 목표 I를 입력으로] → [Evaluator V가 상태 검증 및 기준 체크 연산을 수행해] → [진단 보고서와 수치화된 점수를 얻고] → [이 값이 현재 하네스의 성능 지표가 된다].

Evolution Agent E는 이전 모든 시도의 이력과 진단 보고서를 참조하여 하네스 H를 수정한다. [이전 하네스 H(k-1)와 진단 보고서를 입력으로] → [코드 수정 및 구성 변경 연산을 수행해] → [새로운 하네스 H(k)를 생성하며] → [이는 다음 반복의 Worker Agent 파라미터가 된다].

외부 루프인 Meta-Evolution Loop는 여러 학습 작업 세트 Ttrain에 대해 내부 루프를 실행한다. [각 작업의 최종 점수들을 입력으로] → [평균 성능 및 수렴 속도 집계 연산을 수행해] → [메타 점수를 산출하고] → [Meta-Evolution Agent가 진화 청사진 Λ를 수정하여 새로운 도메인에 대한 적응력을 극대화한다].

논문은 제안된 프레임워크가 수동으로 설계된 하네스보다 더 복잡한 워크플로우를 효과적으로 처리할 수 있음을 기술한다. 특히 Meta-Evolution을 거친 청사진은 처음 접하는 작업(Held-out tasks)에서도 적은 반복 횟수만으로 높은 성공률을 기록하는 수렴 가속화 양상을 보였다.

구체적으로 Convergence speed(목표 성능 도달까지의 반복 횟수), Final performance(고정 반복 후 성공률), Robustness(작업 간 성능 편차)를 주요 지표로 설정하여 평가했다. 최적화된 청사진 Λ(best)는 사람이 직접 설계한 기본 스캐폴딩 대비 더 정교한 도구 활용 로직과 예외 처리 코드를 스스로 생성해내는 결과를 나타냈다.

에이전트를 Agent = Model + Harness로 정의하며, 하네스에는 시스템 프롬프트, 도구 설명, 인프라 구성, 오케스트레이션 로직, 미들웨어 등이 포함된다. 내부 루프는 Algorithm 1에 따라 K번 반복되며, 매 단계마다 환경을 초기화하여 실행 결과의 일관성을 보장한다.

Evaluator Agent는 단순한 성공 여부 판별을 넘어 State verification(환각 감지), Criteria checking(세부 기준 평가), Performance auditing(LLM 지연 시간 vs 도구 실행 시간 분석)의 네 가지 기능을 수행한다. 이는 Evolution Agent가 병목 구간을 정확히 파악하여 수정할 수 있도록 정밀한 피드백 루프를 제공한다.

Meta-Evolution은 메타 학습의 'Learning to Learn' 개념을 에이전트 시스템에 이식한 것이다. Table 1에서 제시하듯, 메타 학습의 파라미터 θ는 에이전트의 하네스 H에 대응되고, 그래디언트 업데이트 과정은 Evolution Agent의 코드 수정 과정과 대응된다. 이를 통해 시스템은 단순한 작업 해결 능력을 넘어 '작업 해결 방법을 개선하는 방법'을 학습한다.

현재 프레임워크는 반복적인 에이전트 실행과 평가를 요구하므로 초기 최적화 단계에서 상당한 연산 비용과 API 호출 비용이 발생할 수 있다. 또한 Evaluator Agent의 진단 정확도에 전체 시스템의 진화 방향이 크게 의존한다는 한계가 있다.