자연 선택으로 에이전트 하니스를 진화시키는 DarwinX

왜 중요한가

LLM 에이전트의 능력을 모델 가중치가 아니라 프롬프트, 도구, 스킬, 제어 흐름으로 구성된 하니스의 선택만으로 확장할 수 있는지가 핵심입니다. DarwinX는 GPT-5.5를 고정한 상태에서 Terminal-Bench 2.1 점수를 75.5%에서 83.2%로 높였고, WebArena-Infinity에서는 audit-clean pass@1을 43.5%에서 93.0%로 올렸습니다. 서로 다른 계통을 보존하고 재조합하는 선택 구조가 단일 계통의 국소 개선과 과제 간 회귀를 완화한다는 점에서, 평가 실행을 재사용 가능한 에이전트 능력으로 바꾸는 방법을 제시합니다.

핵심 기여

하니스 개체군을 통한 자기 진화

DarwinX는 모델 가중치를 학습하지 않고 하니스 변형 개체군을 선택합니다. 각 자식은 새로운 과제를 추가로 해결하면서 부모의 기존 해결 능력을 일정 범위 안에서 보존해야 합니다. archive에 남은 대안 계통은 이후 상속과 재조합에 다시 사용됩니다.

서로 다른 학습 신호의 통합

실패한 실행 기록, 교사 에이전트의 성공 궤적, 자신의 성공과 실패를 비교한 기록을 하나의 하니스 편집 인터페이스로 변환합니다. 세 신호는 프롬프트, 스킬, 도구, 제어 흐름을 수정하지만 모델 가중치는 건드리지 않습니다. 과제에 따라 가장 유용한 증거를 선택해 편집 후보를 만듭니다.

분리된 평가 환경에서의 일반화

Terminal-Bench 2.1의 동일 과제 진화부터 TerminalWorld의 held-out 과제, WebArena-Infinity의 synthetic-to-real 전환, SWE-bench Verified로의 전이까지 네 환경을 평가합니다. 각각의 자체 verifier 또는 공식 테스트 하니스를 사용해 진화 신호와 최종 평가의 분리를 점진적으로 키웠습니다. 네 환경에서 평균 약 17포인트의 향상을 보고합니다.

핵심 아이디어 이해하기

LLM 에이전트의 결과는 같은 모델이라도 어떤 프롬프트를 읽고 어떤 도구를 호출하며 언제 결과를 검증하는지에 따라 달라집니다. 일반적인 자기 개선 방식은 하나의 계통에서 현재보다 나은 편집만 남기므로, 초기 편집에 탐색이 묶이고 한 과제의 성공이 다른 과제의 실패로 바뀔 수 있습니다. DarwinX는 모델 가중치는 고정하고 이러한 실행 구조인 하니스만 여러 후보로 나누어 개선 대상으로 삼습니다.

각 후보는 과제별 반복 실행에서 얻은 해결률로 평가됩니다. 자식이 부모보다 새 과제를 더 많이 해결하면서 기존 해결 과제의 손실이 허용 한도 안에 있으면 탐색 후보로 받아들이고, 이후 더 많은 반복과 보존 프로브를 통과해야 다음 편집의 부모가 됩니다. 입력은 자식의 실행 궤적과 과제별 성과이고, 처리는 순증가와 회귀 위험을 계산하는 선택이며, 출력은 보존된 하니스 변형과 그 계통의 누적 이득입니다.

단일 후보만 남기면 서로 다른 전문 능력을 발견한 계통이 사라질 수 있습니다. DarwinX는 일부 과제에서만 강한 후보와 전체 점수가 낮은 후보도 archive에 보존하고, 서로 보완적인 후보의 편집을 결합한 뒤 두 부모가 해결한 과제들을 모두 유지하는지 확인합니다. TerminalWorld에서 개별 전문 후보가 24, 25, 26, 27개 과제를 각각 해결했지만 병합 하니스가 28개를 해결한 결과가 이 개체군 구조의 효과를 뒷받침합니다.

편집 방향은 실패 궤적, 교사 궤적, 자기 성공과 실패의 대비에서 얻습니다. 반복되는 설치 지연이나 출력 검증 누락 같은 신호를 하니스 스킬과 제어 흐름의 추가 편집으로 바꾸고, 공유 메모리에 과제 전체의 지배적 실패 주제를 누적합니다. 따라서 모델이 새 지식을 학습하는 대신, 같은 모델이 도구를 선택하고 결과를 확인하며 실패 뒤 재시도하는 절차가 달라집니다.

방법론

DarwinX는 학습 문제 대신 하니스 선택 문제로 에이전트 개선을 구성합니다. 모델은 고정하고 프롬프트, 메모리, 스킬, 도구, 제어 흐름, 에이전트 루프를 편집 가능한 층으로 둡니다. 각 세대에서 archive의 부모를 고르고 실패 과제를 겨냥한 작은 추가 편집을 만든 뒤, 실제 과제 실행에서 얻은 증거로 자식의 생존 여부를 결정합니다.

자식의 과제별 해결률 변화를 부모와 비교해 전체 순증가와 하락분의 누적량을 계산합니다. 새 과제의 해결이 있고 하락분이 허용 한도 이하이면 fitness enabler가 후보를 받아들이지만, reasoned verifier는 실행 증거와 공유 메모리를 읽고 promote 또는 revert를 판정합니다. 승격된 후보는 보존 프로브와 더 높은 avg@k 재평가를 통과해야 이후 부모가 될 수 있으므로, 빠른 탐색과 엄격한 확인을 분리합니다.

archive는 하니스 스냅샷, 편집 차이, 과제별 점수, 실행 증거, 요약된 교훈을 가진 트리로 유지됩니다. 부모 선택은 확인된 후보 중 누적 계통 이득이 큰 노드를 주로 활용하면서도 일정 확률로 넓은 개체군에서 후보를 골라 탐색 편중을 줄입니다. 해결 과제 집합이 부모보다 엄격히 커진 improver와 동일한 neutral child는 재조합 후보가 되고, 일부 해결을 잃은 stepping stone과 archived node는 교훈만 제공하거나 나중에 보완 계통의 재료가 됩니다.

재조합에서는 공통 조상에서 나온 code, skill, prompt, tool 편집을 합칩니다. 여러 부모가 각각 해결한 과제의 합집합을 자식이 유지하는지 확인하며, 일부 과제의 승리를 잃으면 병합을 되돌립니다. TerminalWorld에서는 네 전문 후보가 서로 다른 held-out 과제 집합을 해결했고, 병합 결과가 각 후보보다 많은 28개 과제에 도달했습니다.

학습 신호는 실패 궤적에서 누락 능력을 찾는 failure-derived signal, 강한 solver의 성공 궤적을 재사용하는 teacher-derived signal, 자신의 성공과 실패 실행을 대비하는 self-derived signal로 나뉩니다. 입력은 궤적과 과제 상태이고, 처리 과정은 실패 원인 또는 성공 조건을 추출해 하니스 편집으로 변환하는 것이며, 출력은 프롬프트·스킬·도구·제어 흐름의 추가입니다. 실행 시간이 예산을 넘으면 실제 실패로 세고, 인프라 오류는 평가 규칙에 따라 에이전트 실패와 분리합니다.

주요 결과

Terminal-Bench 2.1에서 고정된 GPT-5.5의 base Monet은 75.5%였고 Monet에 DarwinX 하니스를 적용한 결과는 83.2%로 +7.7포인트 높았습니다. GPT-5.6 Sol의 medium effort 설정에서는 84.7%를 기록해 Claude Code Fable 5의 83.8%보다 높았고, GPT-5.5 환경의 Codex 83.1%와 비슷한 수준에 도달했습니다. 향상은 ML·scientific-computing에서 60.1% → 74.9%, data·database에서 83.9% → 97.8%로 크게 나타났으며, 이미 강한 system administration은 92% → 98%로 제한적으로 변했습니다.

TerminalWorld의 94개 학습 과제로 진화한 하니스를 41개 held-out 과제에서 단일 시도 pass@1로 평가한 결과, Opus 4.8에서 25개에서 28개로 늘어 68.3%를 기록했습니다. 이는 같은 모델의 base Monet 61.0%와 비교해 +7.3포인트이며, Claude Code의 65.9%를 앞섰습니다. 학습 부분 점수는 0.505에서 1.000까지 올랐지만 held-out 점수는 68.3%였으므로, archive의 다양성과 병합이 진화 신호의 포화만 따르는 것보다 중요했습니다.

WebArena-Infinity에서는 300개 synthetic intent만으로 진화한 뒤 1,260개 real task에서 평가했습니다. 고정된 GPT-5.5의 audit-clean pass@1은 base Monet의 43.5%에서 93.0%로 +49.5포인트 상승했고, 같은 모델의 Browser Use 86.1%보다 6.9포인트 높았습니다. invalid trajectory는 293개에서 17개로 줄었고 confirmed invalid 비율도 23.5%에서 1.4%로 감소해, 능력 향상과 유효한 행동이 함께 증가했습니다.

Terminal-Bench 2.1에서 진화한 하니스를 Opus 4.8 기반 SWE-bench Verified 500개 이슈에 수정 없이 적용한 결과는 공식 테스트 기준 421/500, 즉 84.2% pass@1이었습니다. 이는 fix-skill reference의 80.8%보다 +3.4포인트 높으며 SWE-bench Verified 피드백 없이 얻은 전이 결과입니다. WebArena-Infinity의 가장 큰 변화는 Elation prescriptions +75.0, Gmail +73.3, Gmail accounts and contacts +70.0으로 상태 변경이 많은 애플리케이션에 집중되었습니다.

기술 상세

하니스의 자식 후보는 각 과제의 반복 실행에서 얻은 해결률을 바탕으로 평가됩니다. 부모와 자식의 과제별 차이를 합산해 순이득을 구하고, 하락한 과제의 손실만 따로 합산해 회귀량을 계산합니다. 순이득이 양수이고 회귀량이 허용 한도 이하인 후보만 초기 선택을 통과하며, 이 입력에서 검증기는 실행 궤적과 공유 메모리를 읽어 promote 또는 revert를 출력합니다.

탐색과 확정을 두 단계로 나눈 점이 구현상의 핵심입니다. 낮은 비용의 avg@k screening은 유망한 후보를 빠르게 archive에 넣는 데 사용하고, 높은 k의 재평가와 preservation probe는 기존 해결 과제를 다시 실행해 우연한 성공을 걸러냅니다. Terminal-Bench 2.1에서는 89개 과제를 avg@3으로 부분 선별하고 steering node를 avg@5로 확인한 뒤 공식 결과도 avg@5로 보고했습니다.

부모 선택은 개별 후보의 현재 점수보다 계통 전체의 누적 이득을 사용합니다. 후보마다 평가받은 과제 부분집합이 다르므로 원점수만 비교하면 어려운 부분집합에서 얻은 실제 개선을 과소평가할 수 있기 때문입니다. 높은 누적 이득의 확인 후보를 주로 선택하되 더 넓은 population에서도 부모를 뽑아 전문 계통이 archive에 남을 기회를 확보합니다.

재조합 가능한 후보는 부모가 해결한 과제를 모두 유지하는지에 따라 구분됩니다. improver는 부모의 해결 과제 집합을 엄격히 확장하고, neutral child는 같은 집합을 유지하며, stepping stone과 archived node는 일부 해결을 잃어 재조합 대신 교훈의 원천으로 남습니다. 여러 후보의 편집을 합친 자식은 각 부모의 해결 과제 합집합을 포함해야 하므로, 병합 과정이 기존 능력을 희생하는 방식으로 진행되지 않습니다.

WebArena-Infinity의 브라우저 하니스는 Chrome DevTools Protocol을 통해 에이전트가 JavaScript로 브라우저를 관찰하고 제어하도록 구성되었습니다. 진화된 하니스는 acceptance contract 도출, client-visible state 점검, 애플리케이션 소유 semantic operation 사용, 렌더링 상태와 영속 상태의 재검증을 추가했습니다. 그 결과 audit-clean pass@1이 43.5%에서 93.0%로 변했고 evaluation-plane access, privileged-host access, exploit 계열 위반은 사라졌지만, 연구진은 이 변화가 개별 스킬 하나의 인과 효과라고 분리하지 않았습니다.

각 평가 후보에는 실패 원인과 성공·회귀 사례를 집계한 공유 메모리가 누적됩니다. 예를 들어 setup cost가 timeout을 지배한다는 전역 주제가 발견되면, proposer는 개별 과제용 패치보다 효율적인 setup 능력을 추가하는 방향으로 편집합니다. 이 메모리는 proposer와 verifier가 함께 읽으므로, 입력된 여러 실행 기록이 전역 하니스 개선과 후보 검증 양쪽에 반영됩니다.

한계점

실험은 archive, 부모 선택, 재조합, 추론 비용을 포함한 전체 DarwinX 시스템을 평가했으며 각 구성요소를 독립적으로 무작위화하지 않았습니다. 따라서 verification-before-finalization과 contract-aware tool use가 반복적으로 나타난 공통 메커니즘이라는 해석은 가능하지만, 개별 스킬이나 연산자의 인과적 기여로 확정할 수 없습니다. TerminalWorld는 41개 과제만 포함해 한 과제가 pass@1을 2.4포인트 바꾸며, SWE-bench Verified 전이는 80.8%에서 84.2%의 좁은 범위에 머뭅니다. WebArena-Infinity의 행동 유효성 검사는 정적 분석과 LLM 판정을 결합했지만 형식적 sandbox는 아니므로 동적으로 구성된 일부 행동은 사람의 검토가 필요합니다. 또한 본문은 모델을 고정한 설정에 집중했기 때문에, 하니스 선택과 모델 가중치 업데이트를 결합할 때의 효과는 아직 평가하지 않았습니다.

실무 활용

DarwinX는 동일한 기반 모델을 유지하면서 프롬프트, 스킬, 도구 사용 순서, 출력 검증 절차를 반복 평가로 개선하려는 에이전트 운영에 활용할 수 있습니다. 특히 과제별 verifier가 있고 성공·실패 실행 기록을 수집할 수 있는 환경에서, 기존 능력을 잃지 않는 편집만 다음 세대에 전달하는 방식이 적합합니다. 다만 archive, 재조합, 검증기, 실행 비용을 독립적으로 통제한 실험은 아니므로 개별 구성요소의 효과를 별도로 단정하기 어렵습니다.

터미널 에이전트가 긴 의존성 설치와 다단계 도구 사용을 처리해야 하는 ML·scientific-computing 과제에서, 실패 궤적을 바탕으로 설치·실행·출력 검증 스킬을 누적할 수 있습니다.
서로 다른 업무군에서 전문화된 에이전트 후보를 보존한 뒤, 각 후보가 해결한 과제 집합을 유지하는지 확인하며 하나의 하니스로 병합할 수 있습니다.
브라우저 에이전트가 화면 상태와 영속 상태를 모두 확인해야 하는 업무에서, acceptance contract를 만들고 semantic operation과 결과 재검증을 수행하는 절차를 스킬로 추가할 수 있습니다.
한 벤치마크에서 진화한 하니스가 다른 verifier와 과제 분포에서도 유지되는지 TerminalWorld 또는 SWE-bench Verified 같은 held-out·전이 평가로 확인할 수 있습니다.

코드 공개 여부: 미확인

키워드

LLM agent(대규모 언어 모델 에이전트)harness(에이전트 실행 구조)self-improvement(자기 개선)population selection(개체군 선택)preserve-and-extend contract(보존 및 확장 계약)recombination(재조합)verifier(검증기)natural selection(자연 선택)

용어 해설

에이전트 하니스(Harness): — LLM 에이전트가 모델 가중치만으로 행동하지 않도록 프롬프트, 도구, 메모리, 스킬, 제어 흐름을 묶은 실행 구조입니다. DarwinX는 모델을 고정한 채 이 주변 구조만 바꿔 과제 수행 능력을 높입니다.
개체군 선택(Population Selection): — 하나의 현재 최선 후보만 유지하지 않고 여러 하니스 변형을 함께 보존한 뒤, 과제별 성과와 회귀 여부를 기준으로 다음 부모를 고르는 탐색 방식입니다. 서로 다른 전문 능력을 가진 계통을 나중에 결합할 수 있습니다.
보존 및 확장 계약(Preserve-and-Extend Contract): — 자식 하니스가 부모보다 새로운 과제를 해결하면서 기존에 해결한 과제를 일정 한도 이상 잃지 않아야 통과시키는 선택 규칙입니다. 순증가와 제한된 회귀를 함께 확인해 한 과제의 개선이 다른 과제의 손실로 이어지는 문제를 줄입니다.
avg@k 평가(avg@k): — 같은 에이전트와 과제를 여러 번 실행한 뒤 반복별 해결률을 평균 내는 평가 방식입니다. DarwinX는 탐색 단계에서 더 낮은 k로 후보를 빠르게 걸러내고, 승격과 최종 보고에서는 더 높은 k로 우연한 성공을 재검증합니다.
재조합(Recombination): — 서로 다른 과제 집합에서 강점을 보인 하니스 변형들의 추가 변경을 합쳐 새로운 자식을 만드는 과정입니다. 결합된 자식은 부모들이 해결한 과제의 합집합을 유지해야 하므로, 전문 계통의 보완적 능력을 하나의 하니스에 모읍니다.
보존 프로브(Preservation Probe): — 새로운 변형이 부모의 기존 해결 과제를 계속 수행하는지 추가 실행으로 확인하는 검증 단계입니다. 초기 시험에서 우연히 좋은 결과를 낸 후보가 이후 탐색을 이끌기 전에, 기존 능력의 유지 여부를 더 높은 신뢰도로 확인합니다.

자연 선택으로 에이전트 하니스를 진화시키는 DarwinX

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

LLM은 자신의 에이전트 하네스를 만들고 진화시킬 수 있는가

EvoHarness-RL: 장기 LLM 에이전트의 자기진화 하네스

작업마다 스스로 진화하는 에이전트 하네스

LLM 에이전트 Skill의 작동 원리와 실패 경계

최종 점수를 넘어선 장기 AI 연구 에이전트 평가

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

LLM은 자신의 에이전트 하네스를 만들고 진화시킬 수 있는가

EvoHarness-RL: 장기 LLM 에이전트의 자기진화 하네스

작업마다 스스로 진화하는 에이전트 하네스

LLM 에이전트 Skill의 작동 원리와 실패 경계

최종 점수를 넘어선 장기 AI 연구 에이전트 평가