야생에서의 자율 에이전트 기여 조사: 활동 패턴 및 시간에 따른 코드 변경 분석

AI 코딩 에이전트가 실제 개발 현장에서 어떤 영향을 미치는지 11만 건의 대규모 데이터를 통해 실증적으로 분석한 연구이다. AI가 생성한 코드가 인간보다 더 자주 수정되고 삭제된다는 결과는, AI 도입 시 단순한 작성 속도보다 장기적인 유지보수 비용과 기술 부채를 우선 고려해야 함을 시사한다.

소프트웨어 공학에서 코드의 가치는 단순히 작성되는 순간이 아니라, 시간이 흐름에 따라 얼마나 안정적으로 유지되는가(Maintainability)에 달려 있다. 기존의 AI 코딩 도구 평가는 주로 HumanEval 같은 정적 벤치마크를 통해 '코드를 짤 수 있는가'에 집중했으나, 실제 협업 환경에서 이 코드가 어떻게 변화하고 살아남는지는 미지의 영역이었다. 연구진은 '코드 생존율(Survival Rate)'과 '코드 Churn(수정/삭제 비율)'이라는 개념을 도입했다. 특정 시점에 추가된 코드 라인이 이후의 커밋에서도 그대로 남아있는지, 아니면 빈번하게 수정되는지를 추적함으로써 AI 에이전트의 기여 품질을 간접적으로 측정했다. 분석 결과, AI 에이전트는 인간보다 훨씬 많은 양의 코드를 한 번에 쏟아내지만 그 코드의 휘발성이 매우 높다는 사실이 드러났다. 이는 에이전트가 생성한 코드가 프로젝트의 맥락을 완벽히 반영하지 못해 사후 수정이 빈번하게 발생하거나, 불필요하게 장황한 코드를 생성하여 리팩터링의 대상이 되기 쉽다는 점을 시사한다.

데이터 수집 및 필터링 단계에서 GitHub GraphQL API를 사용하여 2025년 6월부터 8월까지의 PR 데이터를 수집했다. 각 에이전트의 고유한 흔적(Branch prefix, Bot ID, Watermark 등)을 기반으로 기여자를 식별했으며, 비교를 위해 동일 기간의 인간 작성 PR을 샘플링했다. 코드 안정성 평가를 위해 Survival rate = Survived lines / Added lines [추가된 코드 라인 수를 분모로, 일정 시간 후에도 삭제되지 않고 남은 라인 수를 분자로 하여 계산 → 0에서 1 사이의 안정성 지표 산출] 공식을 사용했다. 또한 Churn rate = Churned LOC / Total LOC [전체 수정된 라인 수를 분모로, 새롭게 추가되거나 내용이 변경된 라인 수를 분자로 하여 계산 → 전체 변경량 중 재작업이 차지하는 비중 산출]를 통해 코드의 불안정성을 정량화했다. 수집된 데이터의 편향을 줄이기 위해 저장소의 스타 수에 따른 층화 추출(Stratified Sampling)을 수행했으며, Mann-Whitney U 테스트와 Cliff's Delta를 사용하여 인간과 에이전트 간의 차이가 통계적으로 유의미함을 검증했다.

에이전트 기여의 75% 이상이 스타 수가 0인 저장소에서 발생하여, 주로 개인 프로젝트나 초기 단계의 프로젝트에서 실험적으로 사용되고 있음이 확인됐다. 반면 인간의 PR은 상대적으로 인기가 높은 저장소에 더 많이 분포했다. 코드 변경 규모 면에서 Claude Code는 중앙값 376라인으로 인간(60라인)보다 훨씬 큰 변경을 수행했다. 전반적으로 에이전트는 코드 삭제보다 추가(Addition) 비중이 인간보다 높게 나타났다. 코드 생존율 분석 결과, 모든 시간 간격(3일, 1주, 3주)에서 인간의 코드 생존율이 에이전트보다 일관되게 높았다. 에이전트 코드는 생성 직후 며칠 이내에 대폭 수정되거나 삭제되는 경향이 강했다. Churn Rate의 경우 Claude Code가 0.8~1.0 사이의 높은 값을 보였는데, 이는 에이전트가 한 번의 커밋에서 코드 베이스의 넓은 범위를 수정하며 스타일 조정이나 문서화 작업을 빈번하게 수행하기 때문으로 분석됐다.

본 연구는 AI 에이전트의 '야생(In the wild)' 활동을 추적하기 위해 대규모 마이닝 기법을 사용했다. 기존 연구들이 특정 모델의 성능에 집중한 것과 달리, 실제 협업 워크플로우에서의 통합 양상을 분석했다. 에이전트 식별을 위해 head:codex/, author:google-labs-jules[bot], Generated with Claude Code와 같은 고유 시그널을 활용한 정교한 필터링 파이프라인을 구축했다. 코드 안정성 평가를 위해 단순한 머지 여부를 넘어, 머지된 이후의 코드 라인 단위 추적(Line-level tracking)을 수행하여 Survival Rate를 도출했다. 이는 코드의 질적 측면을 시계열적으로 평가하는 프레임워크를 제공한다. 실험 결과에서 나타난 높은 Churn Rate는 에이전트의 국소적이고 반복적인(Local and Repetitive) 수정 특성 때문일 수 있으며, 이는 에이전트가 전체 시스템 아키텍처를 고려한 설계보다는 즉각적인 문제 해결에 치중함을 시사한다.

에이전트의 버전 변화를 실시간으로 반영하지 못하며, 수집된 데이터가 특정 3개월 기간에 한정되어 장기적인 코드 진화 양상을 포착하기 어렵다. 또한 에이전트가 인간 계정으로 커밋을 남기는 경우 완벽한 추적이 불가능할 수 있다는 한계가 있다.