에이전트 기반 코드 리뷰에서의 인간-AI 시너지 분석

AI 에이전트가 코드 리뷰에 활발히 도입되고 있지만, 실제 개발 현장에서의 실효성과 인간 리뷰어와의 차이점에 대한 데이터는 부족했다. 이 논문은 대규모 GitHub 데이터를 통해 AI 에이전트가 기술적 결함은 잘 찾아내지만, 프로젝트의 맥락 이해와 지식 전달 측면에서는 여전히 인간의 개입이 필수적임을 입증한다.

코드 리뷰는 소프트웨어 품질을 유지하는 핵심 절차이지만, 개발자의 업무 부하가 높다. 이를 해결하기 위해 LLM 기반 에이전트가 도입되었으나, 에이전트는 코드의 국소적인 문법(Syntax)은 잘 파악해도 프로젝트 전체의 아키텍처나 설계 의도(Design Intent)와 같은 맥락적 이해에는 한계가 있다. 이는 LLM이 학습 과정에서 텍스트 간의 관계를 수치화하는 임베딩(Embedding) 기술을 통해 일반적인 코딩 규칙은 학습했으나, 특정 프로젝트의 고유한 논리 구조나 개발자의 숨은 의도를 파악하는 데 필요한 정교한 추론 능력이 부족하기 때문이다.

이 논문은 AI 에이전트가 생성하는 피드백이 인간보다 훨씬 길고 상세(Verbose)하지만, 그 내용이 기술적 개선에만 치우쳐 있다는 점을 지적한다. 인간은 '왜 이렇게 짰나요?'와 같은 의도 파악 질문을 통해 대화를 이어가며 최적의 해법을 찾지만, AI는 일방적인 제안을 던지고 대화가 단절되는 경우가 많다. 연구진은 이러한 상호작용의 단절이 AI 제안의 낮은 채택률로 이어진다는 원리를 대규모 데이터 분석을 통해 규명했다.

결과적으로 AI 에이전트는 단순 결함 스크리닝에는 효과적일 수 있으나, 실제 코드베이스에 병합되는 비율이 낮고 채택 시 오히려 코드 복잡도를 높이는 부작용이 있다. 이는 AI가 제공하는 '정답'이 프로젝트의 특수한 상황을 반영하지 못하는 '일반적인 규칙'에 기반하기 때문이다. 이 연구는 AI 에이전트가 인간의 감독(Human Oversight) 없이 독립적으로 작동하기보다는, 인간과 협력하여 맥락적 피드백을 보완하는 방향으로 발전해야 함을 시사한다.

300개의 성숙한 GitHub 프로젝트에서 2022년부터 2025년 사이의 PR(Pull Request) 데이터를 수집했다. 수집된 278,790개의 대화를 인간-인간(HRH), 인간-AI(HRA), AI-인간(ARH), AI-AI(ARA)의 네 가지 카테고리로 분류하여 비교 분석을 수행했다.

피드백 유형 분류를 위해 Bacchelli와 Bird의 분류 체계를 활용했으며, GPT-4.1-mini를 사용하여 각 코멘트를 9가지 범주(코드 개선, 결함 탐지, 지식 전달 등)로 자동 라벨링했다. 라벨링의 신뢰도는 인간 평가자와의 Cohen's kappa 계수 0.85를 통해 검증했다.

코드 품질 변화를 측정하기 위해 SciTools Understand 도구를 사용하여 111개의 코드 메트릭을 분석했다. 특히 순환 복잡도(Cyclomatic Complexity) 변화량(ΔM)을 계산했는데, 이는 [수정 전의 코드 메트릭 값 M_before와 수정 후의 값 M_after를 입력으로] → [M_after - M_before 연산을 수행해] → [그 차이값을 얻고] → [이 숫자가 양수이면 코드가 더 복잡해졌음을, 음수이면 단순해졌음을 의미한다].

AI 에이전트의 피드백은 코드 라인당 평균 29.6개의 토큰을 사용하여 인간(4.1개)보다 훨씬 장황했다. 그러나 피드백의 95% 이상이 코드 개선과 결함 탐지에 집중되어 있어, 인간이 제공하는 지식 전달(4-6%)이나 의도 파악(17-31%) 피드백이 결여되어 있었다.

제안 채택률에서 큰 차이가 나타났다. 인간 리뷰어의 제안은 56.5%가 실제 코드에 반영된 반면, AI 에이전트의 제안은 16.6%만 채택되었다. AI 제안이 거절된 가장 큰 이유는 '잘못된 코드 제안(28.7%)'과 '개발자가 다른 방식으로 해결함(24.0%)'이었다.

코드 품질 측면에서 AI 에이전트의 제안이 채택되었을 때 순환 복잡도 증가량은 평균 0.106으로, 인간의 0.003보다 월등히 높았다. 이는 AI가 문제를 해결하기 위해 더 많은 조건문이나 분기 로직을 추가하는 경향이 있음을 의미하며, 장기적인 유지보수성 저하 우려를 시사한다.

본 연구는 코드 리뷰를 유한 상태 머신(FSM)으로 모델링하여 상호작용 패턴을 분석했다. 상태는 인간(H), AI(A), 수락(ACC), 거절(REJ)로 정의되며, 상태 전이 확률을 통해 어떤 상호작용이 성공적인 병합으로 이어지는지 정량화했다.

AI 에이전트 식별을 위해 GitHub API의 'Bot' 타입을 기반으로 하되, 단순 규칙 기반 봇을 제외하고 문맥 이해 및 계획 능력을 갖춘 16개의 '에이전틱(Agentic)' 봇을 수동으로 선별하여 분석의 정확도를 높였다.

코드 메트릭 분석에서는 111개의 지표를 활용했으며, 특히 순환 복잡도(Cyclomatic Complexity)와 실행문 수(Executable Statements)의 변화량을 통해 AI 제안의 구조적 영향을 평가했다. AI 제안은 인간보다 더 많은 분기 로직을 추가하는 특성을 보였다.

GitHub의 공개 데이터에 의존하므로 비공개 기업 저장소의 패턴과는 다를 수 있다. 또한 GPT-4.1-mini를 이용한 자동 라벨링 과정에서 발생할 수 있는 잠재적 분류 오류의 가능성이 존재한다.