EvoClaw: 지속적인 소프트웨어 진화 환경에서의 AI 에이전트 평가

기존 AI 코딩 평가는 독립된 문제 해결에만 집중하여, 실제 개발 환경의 핵심인 '이전 코드와의 의존성'과 '기술 부채 누적' 문제를 간과한다. 이 논문은 에이전트가 시간이 지남에 따라 코드를 어떻게 망가뜨리는지(스노우볼 효과)를 측정하는 새로운 벤치마크를 제시하여 자율 코딩 에이전트의 한계를 명확히 짚어낸다.

Transformer 아키텍처의 Attention Mechanism은 입력된 모든 토큰 간의 관계를 계산하여 문맥을 파악한다. 코딩 에이전트 역시 이 원리로 수만 라인의 코드베이스(Embedding)를 읽고 다음 코드를 생성하지만, 기존 평가는 한 번의 추론으로 끝나는 단기 기억력 테스트에 가깝다. 실제 개발은 수백 개의 커밋이 쌓이며 이전의 결정이 다음 작업에 영향을 주는 연속적인 과정이다. EvoClaw는 이를 해결하기 위해 '마일스톤' 단위를 도입한다. 너무 세밀한 커밋 단위나 너무 거대한 릴리스 단위 대신, 기능적으로 완결된 마일스톤들을 의존성 그래프(DAG)로 연결한다. 에이전트는 이 그래프를 따라가며 이전 작업의 결과를 유지하면서 새로운 기능을 추가해야 한다. 실험 결과, 에이전트들은 새로운 기능을 만드는 능력(Recall)은 유지하지만, 기존 기능을 망가뜨리지 않는 능력(Precision)에서 한계를 보였다. 이는 에이전트가 코딩은 할 줄 알지만, 시스템 전체의 무결성을 관리하는 '유지보수' 능력은 부족함을 의미한다.

DeepCommit 파이프라인은 정적 분석과 LLM 에이전트를 결합하여 커밋 이력을 재구성한다. 먼저 소스 코드 외의 파일을 필터링하고, git blame을 통해 라인 단위의 텍스트 의존성을 추출하여 커밋 레벨의 DAG를 생성한다. 마일스톤 구축 단계에서는 LLM 에이전트가 '시드 발견(Seed Discovery)'을 통해 핵심 변경점을 식별하고, 관련 커밋들을 그룹화(Consolidation)한다. 이후 마일스톤 간의 의존성을 추론(Inference)하고 크기를 조정(Refinement)하여 실행 가능한 DAG를 완성한다. 성능 지표로 Recall과 Precision을 사용한다. Recall_m = N_fixed,m / N_required,m 수식은 [해당 마일스톤에서 고쳐야 할 전체 테스트 수(N_required,m)를 입력으로] → [에이전트가 실제로 통과시킨 테스트 수(N_fixed,m)로 나눈다] → [0에서 1 사이의 비율을 얻고] → [이는 에이전트가 새로운 기능을 얼마나 빠짐없이 구현했는지를 의미한다.] Precision_m = (N_fixed,m + epsilon) / (N_fixed,m + N_broken,m + epsilon) 수식은 [에이전트가 고친 테스트 수와 새롭게 망가뜨린 테스트 수(N_broken,m)를 입력으로] → [전체 상태 변화 중 긍정적인 변화의 비중을 계산한다] → [0에서 1 사이의 값을 얻고] → [이는 에이전트가 기존 기능을 파괴하지 않고 얼마나 안전하게 코드를 수정했는지를 의미한다.]

Claude Opus 4.6이 OpenHands 프레임워크에서 38.03%의 점수로 가장 높은 성능을 기록했다. 하지만 독립 작업 시 80% 이상의 성능을 보이던 것과 비교하면 매우 큰 폭의 하락이다. 에이전트의 '회상률(Recall)'은 시간이 지나도 선형적으로 증가하는 경향을 보였으나, '정밀도(Precision)'는 빠르게 포화(Saturation)되었다. 이는 에이전트가 새로운 기능을 추가할수록 기존 코드를 망가뜨릴 확률이 높아짐을 시사한다. 오류 전파 분석 결과, 초기 마일스톤에서의 논리 오류(Logic Error)가 후속 마일스톤의 테스트 실행 자체를 막아버리는(Missing) 현상이 빈번하게 발생했다.

EvoClaw는 Repository Evolution 카테고리에 속하며, 기존의 Codebase Generation 벤치마크에 '시간적 차원(Temporal Dimension)'을 추가했다. 성능 지표로 Recall(F2P 테스트 통과율)과 Precision(P2P 테스트 유지율)의 조화 평균인 Score를 사용한다. 이는 단순 통과율보다 에이전트의 안정성을 더 엄격하게 평가한다. DeepCommit은 git merge-base와 first-parent 전략을 사용하여 메인라인 커밋 범위를 복구하고, 정적 분석 신호(심볼 변경, 파일 공동 변경 통계)를 LLM의 추론과 결합한다. 에이전트 행동 분석 결과, 성능이 높은 모델일수록 코드베이스 탐색(Exploration) 도구 호출 횟수가 월등히 높았으며, 이는 장기적인 문맥 유지에 필수적임이 확인됐다.

DeepCommit이 생성한 마일스톤 DAG는 인간이 작성한 릴리스 노트 기반의 구조와 비교했을 때, 기술적 의존성은 잘 반영하지만 개발자의 의도나 프로세스 중심의 구분(예: 코드 먼저, 문서 나중에)은 완벽히 포착하지 못할 수 있다.