비교 진화로 스스로 개선하는 코딩 에이전트

왜 중요한가

기존 self-improving coding agent는 대체로 한 agent가 한 task에서 실패한 trajectory만 보고 source code를 고쳤기 때문에 archive에 쌓인 다른 task와 계통의 비교 정보가 충분히 활용되지 않았습니다. Mendel Gödel Machine은 같은 agent의 여러 task 기록과 서로 다른 agent의 동일 task 기록을 함께 사용해 반복 결함과 전달 가능한 행동 특성을 구분합니다. 동일한 evaluation·expansion 예산에서 Polyglot-60 성능을 50.8%에서 93.2%로 높이고 SWE-bench Verified-60에서는 68.3%에서 78.3%로 높였다는 결과가 self-modification의 진단 근거 자체를 개선하는 방향의 의미를 뒷받침합니다.

핵심 기여

비교 증거를 이용한 세 가지 자기 수정

MGM은 기존의 단일 실패 trajectory 기반 clonal mutation을 유지하면서 같은 agent의 여러 task를 비교하는 reaction-norm mutation과 서로 다른 계통의 동일 task 기록을 비교하는 cross-lineage hybridization을 추가합니다. 두 연산은 archive에 이미 저장된 trajectory를 재사용하므로 별도의 task evaluation을 요구하지 않습니다. 이를 통해 한 번의 실패를 국소적으로 고치는 대신 반복되는 scaffold 결함이나 다른 계통에서 검증된 행동 특성을 수정 입력으로 삼습니다.

진단 불확실성 감소를 위한 이론 모델

논문은 agent를 binary genotype으로 표현하고 task가 특정 locus 묶음의 정답 여부를 검사하는 additive fitness landscape를 구성합니다. 단일 실패는 후보 결함을 넓은 task locus 전체로 남기지만, 여러 실패의 교집합이나 성공 agent와의 대조는 실제 오류일 가능성이 높은 더 작은 후보 집합을 만듭니다. 이 구조에서 reaction-norm mutation과 cross-lineage hybridization의 유효 fix probability가 clonal mutation보다 높다는 명제를 세우고 Monte Carlo simulation으로 확인합니다.

동일 예산에서의 coding-agent 성능 향상

Qwen3.6-35B-A3B를 backbone으로 200회 evaluation과 24회 expansion을 수행한 결과, SWE-bench Verified-60에서 초기 68.3%가 HGM 73.3%, MGM 78.3%로 변했습니다. Polyglot-60에서는 초기 50.8%가 HGM 77.9%, MGM 93.2%로 변했으며 MGM의 처리 시간은 40.14시간이었습니다. 두 방법의 operation 수가 같고 operator별 token 비용도 비슷한 수준이어서 성능 차이가 단순한 추가 compute에서 비롯되지 않았습니다.

벤치마크와 backbone을 넘는 scaffold 전이

Polyglot에서 진화한 scaffold를 별도 self-improvement 없이 SWE-bench Pro와 SWE-bench Multilingual에 적용했을 때 MGM은 각각 26.7%와 55.0%를 기록해 초기 scaffold보다 10.0과 13.3 percentage point 높았습니다. Qwen3.6-35B-A3B에서 진화한 scaffold를 DeepSeek-V4-Flash와 DeepSeek-V4-Pro에 옮긴 경우에도 MGM은 각각 66.7%와 75.0%를 기록했습니다. Polyglot 전체 225-task에서는 DeepSeek-V4-Pro 전이 설정이 96.89%에 도달해 특정 backbone에만 맞춘 수정이 아닌 workflow 수준의 개선 가능성을 뒷받침합니다.

핵심 아이디어 이해하기

Coding agent의 source code와 보조 workflow를 genotype으로 보고 task 실행 결과를 phenotype으로 보면, self-improvement의 문제는 실패 원인을 직접 읽는 일이 아니라 제한된 행동 기록에서 잘못된 scaffold 부분을 추정하는 일이 됩니다. 단일 task 실패는 여러 기능 중 어느 부분이 문제인지 구분하기 어렵고, 우연한 환경 요인과 반복되는 구조적 결함도 섞여 있습니다. 따라서 archive가 커질수록 과거 기록을 단순 leaderboard가 아니라 비교 가능한 진단 자료로 바꾸는 일이 중요합니다.

Reaction-norm mutation은 같은 genotype이 여러 task에서 어떤 결과를 냈는지 입력으로 받습니다. 한 agent가 서로 다른 task에서 localization이나 validation과 관련된 비슷한 실패 행동을 반복하면, editor는 한 task에만 특화된 수정 대신 공통 행동 패턴을 고치는 방향으로 source code를 바꿉니다. 수식으로는 target task와 reference task의 필요한 locus 후보를 $C_{RM}=R_{\tau_t}\cap R_{\tau_r}$ 처럼 교집합으로 좁히는 구조이며, 후보가 작아질수록 실제 결함을 선택할 확률이 높아집니다.

Cross-lineage hybridization은 같은 task에서 실패한 target agent와 성공했거나 다른 방식으로 실패한 reference agent의 trajectory를 대조합니다. 두 agent가 같은 환경에서 다른 결과를 냈다면 task 자체가 아니라 genotype 차이가 행동 차이에 기여했을 가능성을 진단 신호로 사용할 수 있고, target agent가 reference의 transferable behavioral trait를 자신의 코드 구조에 맞게 다시 구현합니다. 이 과정은 source file을 직접 이어 붙이는 방식이 아니라 target agent가 비교 기록을 읽고 스스로 수정하는 방식입니다.

MGM은 먼저 archive에서 evaluation과 expansion 중 하나를 Thompson Sampling으로 선택하고, expansion이 선택되면 사용 가능한 operator를 기록 조건에 따라 구성합니다. 실패가 하나뿐이면 clonal mutation을 쓰고, 같은 agent에 충분한 다중 task 기록이 있으면 reaction-norm mutation을 추가하며, 서로 다른 계통이 공통 task를 수행했으면 cross-lineage hybridization을 추가합니다. 즉 새로운 평가를 무작정 늘리는 대신 이미 발생한 성공·실패의 입력을 더 정밀하게 조합해 한 번의 self-modification이 실제 결함을 겨냥할 가능성을 높입니다.

방법론

MGM은 각 agent의 executable scaffold를 genotype으로, task 실행 trajectory와 binary success result를 phenotype으로 저장하는 archive tree를 유지합니다. 매 단계에서 node와 subtree의 성공·실패 수를 Beta posterior로 바꾸고 Thompson Sampling을 통해 기존 agent의 evaluation 또는 새로운 child를 만드는 expansion을 선택합니다. expansion이 선택되면 archive에 있는 증거의 형태에 따라 세 operator 중 하나를 확률적으로 고릅니다.

Clonal mutation은 선택된 agent의 실패 task 하나에서 얻은 trajectory와 결과만 editor에 전달합니다. Reaction-norm mutation은 같은 agent가 최소 $m_{RM}$ 개의 서로 다른 task에서 얻은 기록 중 target trajectory와 reference trajectory를 함께 사용해 반복 또는 대조 행동을 찾게 합니다. Cross-lineage hybridization은 서로 다른 두 계통이 공통 task를 수행했고 둘 다 성공하지 않은 경우를 대상으로 하며, 한쪽이 성공하면 실패한 agent가 성공 trajectory에서 수정 가능한 행동 특성을 추출합니다.

MGM은 과거 어떤 agent에서도 실패가 발생한 task를 global failed-task pool에 모읍니다. 새 task를 고를 때 각 agent가 아직 시도하지 않은 task 중 failed-task pool에 속한 항목에 미리 정한 boost $\beta_{fail}$ 을 부여해 계통 간 task overlap을 늘리고, 그 결과 cross-lineage 비교가 가능한 기록을 추가 evaluation 비용 없이 확보합니다. 이 pool은 별도 benchmark가 아니며 새로운 $\varphi$ -evaluation을 생성하지 않고 sampling 분포만 조정합니다.

이론 검증에서는 길이 $L$ 인 binary genotype과 oracle genotype 사이의 Hamming distance를 self-improvement 진행도로 사용합니다. 각 task는 $k$ 개의 locus를 검사하고 모두 올바를 때만 성공하므로 edit distance가 $d$ 일 때 task 성공 확률은 $((L-d)/L)^k$ 입니다. 한 실패 trajectory만 쓰는 clonal mutation의 후보 집합은 $R_{\tau_t}$ 이지만 reaction-norm mutation은 두 task의 교집합을, cross-lineage hybridization은 같은 task에서 성공과 실패를 가른 차이를 사용해 더 높은 결함 밀도의 후보 집합을 만듭니다.

실제 실험은 Qwen3.6-35B-A3B를 backbone으로 하고 동일한 초기 ancestor와 200회 evaluation 예산을 사용해 HGM과 MGM을 비교했습니다. 주 벤치마크는 SWE-bench Verified-60과 Polyglot-60이며, 전이 검증에는 SWE-bench Pro, SWE-bench Multilingual, DeepSeek-V4-Flash와 DeepSeek-V4-Pro가 사용됐습니다. 또한 reaction-norm mutation 또는 cross-lineage hybridization을 제거한 ablation을 같은 예산에서 실행해 각 비교 operator의 기여를 분리했습니다.

주요 결과

동일한 200회 evaluation과 24회 expansion에서 SWE-bench Verified-60의 초기 agent 정확도는 68.3%였습니다. HGM은 이를 73.3%로 높였고 MGM은 78.3%까지 높여 초기 대비 10.0 percentage point 개선을 기록했습니다. Polyglot-60에서는 초기 50.8%가 HGM 77.9%, MGM 93.2%로 변했으며, MGM의 개선폭은 42.4 percentage point였습니다.

Polyglot-60에서 MGM의 wall-clock time은 40.14시간이었고 HGM은 44.20시간이었습니다. 두 방법은 같은 수의 evaluation과 expansion을 사용했으며 operator별 token cost 분포도 비슷한 수준이었습니다. 따라서 MGM의 우위는 더 많은 task 실행이나 token 소비보다 archive trajectory를 비교 증거로 재사용한 self-modification 방식과 연결됩니다.

시뮬레이션에서 비교 operator의 fix-probability ratio를 $\rho$ 로 두었을 때, $\rho=1$ 이면 MGM은 HGM과 유사한 동작으로 수렴했습니다. 반대로 $\rho=1.2$ , $1.5$ , $2.0$ 처럼 비교 증거의 진단 이점이 커질수록 MGM은 다양한 초기 edit distance에서 더 낮은 최종 edit distance와 더 빠른 수렴을 기록했습니다. 결과 분포에서도 MGM은 평균이 가장 낮고 spread가 가장 좁아 budget allocation의 변동성이 상대적으로 작았습니다.

전이 실험에서 Polyglot-60에서 진화한 MGM scaffold는 SWE-bench Pro에서 26.7%, SWE-bench Multilingual에서 55.0%를 기록했습니다. 이는 초기 scaffold의 16.7%와 41.7%보다 각각 10.0과 13.3 percentage point 높으며, HGM의 13.3%와 43.3%보다도 높습니다. Qwen3.6-35B-A3B에서 진화한 scaffold를 DeepSeek-V4-Flash와 DeepSeek-V4-Pro에 적용했을 때도 MGM은 각각 66.7%와 75.0%로 HGM의 60.0%와 70.0%를 앞섰습니다.

Ablation에서 Polyglot-60 초기 정확도 50.8%에 대해 전체 MGM은 93.2%를 기록했습니다. Reaction-norm mutation을 제거하면 79.7%, cross-lineage hybridization을 제거하면 74.6%로 낮아졌고, 각 변형의 시간은 43.01시간과 39.95시간으로 전체 MGM과 비슷했습니다. 두 비교 operator가 모두 필요하지만 특히 cross-lineage hybridization 제거 시 성능 하락이 더 커서 계통 사이의 성공·실패 정보 재사용이 중요한 역할을 했습니다.

기술 상세

MGM의 archive node는 agent source code와 보조 scaffold를 genotype으로 저장하고, 각 평가 task에 대한 trajectory $\varphi(a,\tau)$ 와 binary result $r(a,\tau)\in\{0,1\}$ 를 phenotype으로 저장합니다. agent의 기대 utility는 task 분포에서 성공 결과의 평균인 $U(a)=\mathbb{E}_{\tau\sim\mathcal{D}}[r(a,\tau)]$ 로 정의됩니다. node 수준에서는 성공 task 수와 실패 task 수로 Beta posterior를 만들고, subtree 수준에서는 descendants의 기록을 합산해 expansion 후보를 선택합니다.

Reaction-norm mutation의 증거는 target task와 reference task의 두 trajectory-result pair입니다. 같은 agent가 두 task에서 공통적인 실패 행동을 보이면 editor가 단일 task의 우연한 원인보다 genotype 수준 결함을 우선하도록 입력이 구성됩니다. additive landscape에서 단일 실패의 후보는 $C_{CM}=R_{\tau_t}$ 이고 두 기록의 공통 후보는 $C_{RM}=R_{\tau_t}\cap R_{\tau_r}$ 이므로, 후보 locus 수가 줄고 실제 오류 locus의 밀도가 높아질 때 $p_f^{RM}>p_f^{CM}$ 이 됩니다.

Cross-lineage hybridization은 target agent와 reference agent가 같은 task $\tau_t$ 를 수행한 기록을 pair로 묶습니다. target이 실패하고 reference가 성공하면 두 trajectory의 차이를 사용해 target이 갖추지 못한 행동 특성을 추출하며, 둘 다 실패하면 더 높은 utility를 가진 계통을 primary target으로 선택합니다. 구현상 source file을 reference에서 target으로 splice하지 않고 target agent가 reference trajectory를 읽은 뒤 자신의 codebase에 맞는 수정 child를 생성합니다.

MGM의 operator eligibility는 archive 상태에서 결정됩니다. clonal mutation은 선택 agent에 최소 한 개의 실패 task가 있으면 가능하고, reaction-norm mutation은 최소 $m_{RM}$ 개의 distinct task 기록과 하나 이상의 실패가 있으면 가능하며, cross-lineage hybridization은 서로 다른 계통의 공통 task 기록이 있고 두 agent가 동시에 성공하지 않았을 때 가능합니다. 가능한 operator 집합을 $\Omega_i$ 라고 할 때 operator $\sigma$ 의 선택 확률은 $\Pr(\sigma\mid i)=\lambda_\sigma/\sum_{\sigma'}\lambda_{\sigma'}$ 로 계산됩니다.

시뮬레이션의 task 성공 조건은 필요한 locus 집합 $R_\tau$ 와 agent의 오류 집합 $M(a)$ 가 겹치지 않는 경우입니다. 오류 locus가 $d$ 개이고 전체 locus가 $L$ 개이며 task가 $k$ 개 locus를 검사하면 성공 확률은 $((L-d)/L)^k$ 로 계산됩니다. 예를 들어 $L=100$ , $d=20$ , $k=2$ 이면 두 locus가 모두 올바를 확률은 $(80/100)^2=0.64$ 이므로 성공 확률이 64%가 되며, $d$ 가 감소할수록 성공 가능성이 높아집니다.

실험에서는 self-modification과 evaluation을 격리된 container에서 실행하고 동일한 operation 예산으로 HGM과 비교했습니다. Qwen3.6-35B-A3B backbone의 Polyglot-60 설정에서는 전체 MGM, reaction-norm mutation 제거 변형, cross-lineage hybridization 제거 변형의 정확도가 각각 93.2%, 79.7%, 74.6%였습니다. 이 차이는 비교 증거의 질이 개선되어야 simulated fix probability와 실제 scaffold 개선이 함께 상승한다는 논문의 메커니즘과 일치합니다.

한계점

Repository-level coding-agent evolution은 비교 trajectory를 재사용하더라도 상당한 wall-clock time과 GPU 자원을 요구합니다. 이 비용 때문에 독립 evolution seed 수와 hyperparameter sweep 범위가 제한됐고, 주된 진화 결과도 고정된 60-task subset과 하나의 matched budget에 집중됐습니다. 따라서 다른 task sample과 random restart에서 성능 분산이 얼마나 유지되는지는 추가 검증이 필요합니다.

MGM의 이점은 archive의 크기와 task overlap에 의존합니다. Reaction-norm mutation은 같은 agent의 여러 trajectory가 필요하고 cross-lineage hybridization은 서로 다른 계통이 공통 task를 수행해야 하므로, 초기 archive나 실패 기록이 부족하면 clonal mutation과 유사하게 작동합니다. Failed-task pool은 overlap을 늘리지만 아직 실패가 발생하지 않은 informative contrast를 새로 만들지는 못합니다.

비교 증거가 좋아도 LLM-based editor가 올바르고 일반적이며 유지 가능한 scaffold 수정을 만든다는 보장은 없습니다. 오류 수정이 실패하면 budget을 소비하고, backbone이 trajectory에서 failure mechanism을 충분히 진단하지 못하면 operator의 이점도 줄어듭니다. 또한 additive fitness surrogate는 실제 editable scaffold의 복잡성을 모두 반영하지 않으며, 논문의 결론은 public software-engineering benchmark와 coding-agent scaffold 범위에 한정됩니다.

실무 활용

MGM은 coding agent가 repository-level task를 반복 수행하며 축적한 trajectory를 사용해 자신의 scaffold와 workflow를 수정하는 연구용 framework입니다. 새 task 평가를 추가하지 않고 같은 agent의 다중 task 기록과 여러 계통의 공통 task 기록을 비교하므로, 제한된 evaluation budget에서 진단 정보를 늘리는 방식으로 활용할 수 있습니다. 다만 self-modification은 LLM-based editor의 판단에 의존하고 sandbox 밖에서 검증되지 않았으므로 격리된 연구 환경에서 사용해야 합니다.

격리된 container 안에서 coding-agent scaffold의 반복적 self-improvement를 평가할 수 있습니다. agent가 실패한 task와 성공한 reference agent의 trajectory를 archive에 저장하면 cross-lineage hybridization이 transferable workflow trait를 찾는 입력으로 활용됩니다. production repository에 직접 쓰기 전에 고정된 benchmark와 별도 검증 단계로 수정의 안정성을 확인해야 합니다.
여러 software-engineering benchmark에서 재사용 가능한 workflow 개선을 찾을 수 있습니다. 한 benchmark에서 진화한 scaffold를 고정한 뒤 SWE-bench Pro나 SWE-bench Multilingual처럼 다른 repository·언어 환경에서 zero-shot 평가하면 task-specific patch와 일반적인 workflow 개선을 구분할 수 있습니다. 논문에서는 Polyglot-60에서 진화한 MGM scaffold가 두 held-out benchmark 모두에서 초기 scaffold보다 높은 정확도를 기록했습니다.
서로 다른 backbone LLM에 동일한 scaffold를 전이해 개선이 모델 특성에 종속되는지 점검할 수 있습니다. Qwen3.6-35B-A3B에서 진화한 scaffold를 DeepSeek-V4-Flash와 DeepSeek-V4-Pro로 교체 실행하면 scaffold에 저장된 workflow 수준 효과와 backbone 자체의 효과를 분리할 수 있습니다. 이 과정은 모델 교체 후에도 같은 안전 경계와 evaluation protocol을 유지해야 의미 있는 비교가 됩니다.

코드 공개 여부: 공개

코드 저장소 보기

키워드

Mendel Gödel Machine(비교 진화 기반 자기 개선 coding agent)Reaction-Norm Mutation(다중 task 반응 규범 변이)Cross-Lineage Hybridization(계통 간 교배)Self-Modification(자기 수정)Coding Agent(코딩 에이전트)Comparative Evolution(비교 진화)

용어 해설

반응 규범(Reaction Norm): — 같은 유전자형이 서로 다른 환경에서 어떤 표현형을 내는지 나타내는 성능 패턴입니다. 이 논문에서는 하나의 coding agent가 여러 task에서 반복적으로 실패하거나 일관되지 않게 행동하는 기록을 비교해 task 우연과 agent 구조의 결함을 구분하는 진단 근거로 사용합니다.
계통 간 교배(Cross-Lineage Hybridization): — 서로 다른 계통의 agent가 같은 task를 수행한 trajectory를 비교해 한쪽의 성공 또는 상호 보완적인 실패 패턴을 다른 계통의 수정에 활용하는 연산입니다. 소스 파일을 직접 합치지 않고 target agent가 전달 가능한 행동 특성을 추출해 자신의 코드 구조에 맞게 적용합니다.
Hamming 거리(Hamming Distance): — 두 개의 같은 길이 벡터에서 서로 다른 위치의 개수를 세는 거리입니다. 시뮬레이션에서는 agent의 binary genotype과 oracle genotype 사이의 불일치 locus 수로 사용하며, 값이 0이면 모든 scaffold 능력이 oracle과 일치합니다.
Thompson Sampling: — 각 후보의 성공 확률에 대한 posterior에서 값을 무작위로 뽑아 탐색과 활용을 함께 수행하는 선택 방법입니다. MGM은 node와 subtree의 성공·실패 기록으로 Beta posterior를 만들고, 다음 evaluation 또는 expansion 대상을 결정하는 데 사용합니다.
가산 적합도 지형(Additive Fitness Landscape): — agent의 성능을 여러 독립적인 genotype 위치의 정답 여부로 표현하는 통제된 모델입니다. 각 task는 특정 locus 묶음이 모두 올바른지로 성공이 결정되고, self-modification은 관찰된 실패를 근거로 일부 locus를 수정해 oracle까지의 Hamming 거리를 줄입니다.
유전자형과 표현형(Genotype–Phenotype): — 여기서 genotype은 agent의 실행 가능한 source code와 보조 scaffold이고 phenotype은 task를 실행한 trajectory와 성공·실패 결과입니다. MGM은 archive에 두 정보를 함께 저장해 코드 자체를 직접 해석하기보다 여러 환경에서 드러난 행동 차이를 self-modification의 입력으로 사용합니다.

비교 진화로 스스로 개선하는 코딩 에이전트

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

LLM 에이전트 자기 진화의 복구 가능성

과학 소프트웨어 수정을 평가하는 SWE-bench Science

검토된 핵심 진화 기반 자기개발 코딩 에이전트

실행 Trace로 LLM Agent Harness를 자동 개선

LLM은 자신의 에이전트 하네스를 만들고 진화시킬 수 있는가

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

LLM 에이전트 자기 진화의 복구 가능성

과학 소프트웨어 수정을 평가하는 SWE-bench Science

검토된 핵심 진화 기반 자기개발 코딩 에이전트

실행 Trace로 LLM Agent Harness를 자동 개선

LLM은 자신의 에이전트 하네스를 만들고 진화시킬 수 있는가