휴먼 중심에서 에이전트 중심 코드 리뷰로: 생성형 AI 세대별 도입이 리뷰 품질에 미치는 영향

풀 리퀘스트 검토는 소프트웨어 품질 확보에 핵심인 반면 인공지능이 생성하는 코드량 증가는 인간 리뷰어의 병목을 악화시킨다. 이 논문은 인간·LLM·에이전트 세대별 도입이 대규모 프로젝트에서 리뷰 효율성과 품질 지표에 어떤 영향을 미치는지 실증적으로 규명하여 실무자들이 AI 리뷰 도입 정책을 판단할 근거를 제공한다. 특히 에이전트가 검사와 요약을 자동화하는 방식이 리뷰 시간 단축으로 이어지지만 반복적 리뷰자 의존 등 새로운 품질 위험을 동반할 수 있음을 보여준다.

문제 출발점은 코드 리뷰의 병목과 품질 위험을 동시에 다루어야 한다는 점이다. 인간 단독 리뷰는 작은 변경에서 효율적이지만 생성형 AI의 코드 생성량 증가는 리뷰 부하를 증가시키며 전통적 리뷰 요인(작성자 경험, 변경 규모, 토론량)이 여전히 결과를 좌우한다는 제약이 있다. 이 제약은 단순히 AI를 투입하는 것만으로 해결되지 않음을 의미한다. 논문은 AI 참여를 세 시대로 구분하고 각 시대에서의 리뷰 흐름과 참여 비율을 표준화된 시계열로 표현하여 군집화하는 방법으로 문제에 접근한다. LLM은 자연어 피드백 생성을 통해 간단한 검사와 요약을 제공하는 반면, 에이전트는 저장소 문맥 검색·도구 실행·검증까지 수행하여 검사 단계의 자동화를 확장한다. 이 차이는 협업 패턴의 구조적 변화로 이어지며, 시퀀스 모델링을 통해 이 구조적 차이를 정량화할 수 있다. 달라지는 점은 AI 도입 방식에 따라 효율성과 품질이 상반된 방향으로 이동한다는 것이다. Gradual AI Adoption과 Rapid AI Agent Adoption에서는 에이전트 주도의 리뷰가 평균적인 리뷰 의사결정 시간을 줄였으나 Review Buddies 같은 스멜은 증가하거나 유지되었다. 반면 Rapid LLM Adoption에서는 LLM 활용 증가가 리뷰 스멜의 유의한 증가와 함께 효율성 개선을 가져오지 못했으므로 도입의 타이밍과 방식이 결과에 결정적 영향을 미친다.

데이터 수집 단계에서는 GitHub REST API로 2,490개 후보 프로젝트의 풀 리퀘스트와 리뷰 대화를 수집하고, 사전 기준(2022년 5월 이전 생성, 월별 최소 1개 리뷰 PR, 최소 100 stars 등)으로 207개 프로젝트를 최종 선정했다. 각 리뷰어 계정은 사람·봇·기존 ML 도구·LLM·AI 에이전트로 라벨링되었고, 에이전트 라벨 검증을 위해 384개의 대표 표본을 수작업으로 검토하여 에이전트 행위 증거(계획·검색·커밋 동작 등)를 확인했다. 시대 정의는 프로젝트별로 LLM·에이전트의 최초 참여 시점을 기준으로 세분화했다. AI 채택 관행 분석은 월별 시대별 AI 참여 비율을 선형 보간으로 10개 포인트로 표준화하여 세 구간을 연결한 시계열을 구성했고 soft-DTW 유사도 기반 군집화를 적용해 최적 군집 수를 실루엣 점수로 선택했다. 군집 결과로 세 가지 관행을 식별한 뒤 각 관행 내에서 PR 유형별 상대 참여율과 카이제곱 검정으로 편향을 확인했다. 협업 패턴 추출은 각 PR의 댓글을 리뷰어 타입 시퀀스로 변환하고 Markov 체인 혼합 모델을 EM으로 적합해 10개의 패턴을 도출했다. 패턴별 효율성 비교에는 Scott-Knott ESD를 사용했고 스멜 비교에는 카이제곱 검정과 Bonferroni 보정을 적용했다. 설명모델은 각 관행·시대 조합에 대해 logistic regression을 학습하였고 변수 상관성은 VIF로 확인한 뒤 로그 변환과 더미 인코딩을 적용했다. 영향도 산정은 기준값(P_base)을 설정하고 관심 변수만 변화시켜 예측 확률(P_changed)을 계산한 뒤 Impact Score = (P_changed - P_base) / P_base로 비교해 실질적 영향력을 정량화했다. 모델 성능 평가는 held-out 10% 테스트셋의 AUC로 수행했으며 모든 통계적 유의성 판단에는 p<0.05 기준을 적용했다.

세 가지 채택 관행이 식별되었고 각 관행은 시대별 LLM 및 에이전트 참여 비율에서 뚜렷한 차이를 보였다. Gradual AI Adoption은 LLM 시대에 낮은 LLM 참여와 에이전트 시대에 중간 수준의 에이전트 참여를 보였고 Rapid LLM Adoption은 LLM 시대와 에이전트 시대 모두 높은 참여율을 보였으며 Rapid AI Agent Adoption은 LLM 시대에는 낮은 LLM 참여 뒤 에이전트 시대에 급증하는 패턴을 보였다. 프로젝트 수는 각 군집에서 의미 있는 분포 차이를 보였다. 리뷰 효율성 측정에서는 Gradual AI Adoption과 Rapid AI Agent Adoption에서 에이전트 시대에 리뷰 시간(일/KLOC)이 각각 약 2.5일과 4.5일 감소하여 유의한 속도 개선이 관찰되었다. 반면 Rapid LLM Adoption에서는 효율성 개선이 관찰되지 않았고 오히려 리뷰 스멜 비율이 LLM 시대와 에이전트 시대 모두에서 유의하게 증가했다. 특히 Review Buddies가 Rapid LLM Adoption에서 크게 증가하여 동일한 리뷰 계정에 대한 반복 의존이 심해졌다. 협업 패턴 분석에서는 에이전트가 주도하거나 다수 에이전트가 참여하는 패턴(agent-init, multi-agent)이 Gradual AI와 Rapid AI Agent 관행의 에이전트 시대에서 인간만인 리뷰보다 더 빠른 의사결정을 보였다. 그러나 대부분의 AI 포함 패턴은 인간만 리뷰보다 스멜 발생률이 높았고 LLM-Assist 패턴은 전반적으로 인간만 리뷰보다 더 비효율적이었다. 설명모델에서는 전통적 요인(작성자 경험, 커밋 수, 토론량)이 계속해서 중요한 설명변수로 남아 있었고 협업 패턴은 시대·관행에 따라 상이한 영향력을 보였다.

데이터와 라벨링 절차는 프로젝트별 시대 정의, 리뷰어 유형 판별, PR 유형 분류로 구성되며 PR 유형 분류에는 GPT-4.1-mini가 사용되었고 이 분류기는 384표본과의 비교에서 Cohen의 κ=0.91을 기록하여 높은 일치도를 보였다. 리뷰어 유형 판별은 GitHub API의 봇 식별과 도구 문서 수동 확인을 결합하여 수행되었고 에이전트 판정은 에이전트 행위 증거 유무로 검증된 표본을 통해 신뢰도를 확보했다. 보존 기준으로 각 시대별로 400개 이상의 리뷰 PR을 가진 프로젝트만 분석에 포함하여 통계적 안정성을 높였다. 협업 패턴 모델링은 시간 순서 시퀀스 데이터를 Markov 체인 혼합 모델(EM)로 적합하여 각 체인이 초기 상태 확률과 전이 확률을 갖도록 구성했다. 모델 선택은 BIC로 이루어졌고 최소 BIC를 갖는 모델이 10개 패턴을 선택하게 하여 이후 분석에 사용했다. 효율성 비교는 Scott-Knott ESD로 패턴들을 유의미한 그룹으로 나누었고 스멜 비교는 카이제곱과 Bonferroni 보정을 적용했다. 설명모델은 각 관행·시대 조합별로 logistic regression을 구축했고 수치 변수의 왜곡을 줄이기 위해 로그 변환을 적용했으며 다중공선성은 VIF<5 기준으로 확인되어 변수 제거 없이 모델을 구축했다. 변수 중요도는 기준값 대비 관심 변수 변화를 통한 예측 확률 변화율(Imp%)로 산정하여 단위가 다른 변수들을 비교 가능한 척도로 환산했다. 모델 평가는 90% 학습·10% 홀드아웃 테스트 및 AUC로 수행되었다.

연구의 구성 타당도 한계로써 에이전트 시대는 프로젝트 내에서 첫 에이전트 참여 시점을 기준으로 정의되어 해당 시대의 모든 AI 참여가 실제로 에이전트 행위를 포함한다고 단정할 수 없다. 내부 타당도 한계로 회귀 모델은 설명적 목적이며 변수 간의 통계적 연관성이 인과관계를 의미하지 않는다. 외부 타당도 측면에서 도구 성능과 사용 관행의 빠른 진화로 인해 본 연구 결과가 시간이 지나면서 달라질 가능성이 있으며 논문은 이 점을 명확히 언급하고 있다.