AI 코딩 에이전트는 인간처럼 로그를 남기는가? 실증적 연구

AI 코딩 에이전트가 생성한 코드의 기능적 완성도는 높아지고 있지만, 시스템 유지보수에 필수적인 로깅(Logging)과 같은 비기능적 품질은 간과되고 있다. 이 논문은 AI 에이전트가 로깅 관행에서 인간과 어떤 차이를 보이는지 분석하여, 단순한 프롬프트 지시보다 더 강력한 기술적 가드레일이 필요함을 시사한다.

소프트웨어 개발에서 로깅은 시스템 내부를 들여다보는 '창'과 같지만, 정해진 규칙보다는 개발자의 경험과 관습에 의존하는 경우가 많다. 기존의 AI 코딩 에이전트 평가는 주로 '테스트 통과 여부'라는 기능적 측면에 집중해왔으나, 실제 운영 환경에서는 로그가 없으면 장애 진단이 불가능해진다. 본 연구는 에이전트가 학습 데이터에 포함된 로깅 패턴을 단순히 복제하는지, 아니면 프로젝트 특유의 관행을 따르는지 검증하고자 했다.

분석 결과, AI 에이전트는 에러 처리와 같은 명확한 상황에서의 로깅은 인간을 잘 모방하지만, 시스템의 흐름을 파악하는 정보성(INFO) 로그 작성에는 소홀한 것으로 나타났다. 이는 에이전트가 로깅을 '사후 대응적 도구'로만 인식하고 '선제적 관측 도구'로는 활용하지 못하고 있음을 의미한다.

결국 자연어로 된 프롬프트 지시만으로는 에이전트에게 정교한 로깅 습관을 심어주기 어렵다는 것이 확인됐다. 이는 향후 에이전트 설계 시 린터(Linter)나 CI/CD 파이프라인과 같은 결정론적인 검사 도구를 결합하여 로깅 품질을 강제해야 한다는 기술적 방향성을 제시한다.

AIDev 데이터셋을 활용하여 Python, Java, JavaScript/TypeScript 언어로 작성된 81개 저장소의 PR 데이터를 수집했다. 로깅 문을 탐지하기 위해 각 언어별 로깅 프레임워크의 키워드와 레벨(DEBUG, INFO, WARN, ERROR 등)을 포함하는 정규표현식 기반의 정적 분석 기법을 적용했다.

개발자의 로깅 의도를 파악하기 위해 GPT-4o, GLM-4.7, DeepSeek-V3.2로 구성된 'LLM 배심원(LLM Jury)' 시스템을 구축했다. 입력값으로 이슈 본문, 저장소 지침 파일, 리뷰 코멘트를 제공하고 → 다수결 원칙(Majority Voting)을 통해 → 해당 텍스트가 로그 추가, 수정, 삭제 중 어떤 의도를 담고 있는지 분류하여 → 자동화된 분류 결과와 인간의 레이블 간 일치도(Cohen’s kappa = 0.83)를 확보했다.

사후 관리 분석을 위해 Kaplan-Meier 생존 분석 기법을 도입했다. 에이전트가 도입한 로그가 수정되지 않고 유지되는 시간을 '생존 시간'으로 정의하고 → 커밋 횟수에 따른 로그 변경 확률을 계산하여 → 인간이 작성한 로그와 비교함으로써 에이전트 로그의 안정성과 인간의 개입 빈도를 측정했다.

58.4%의 저장소에서 AI 에이전트는 인간보다 로깅을 변경하는 빈도가 낮았다. 그러나 로그를 추가하는 경우, 에이전트는 인간보다 코드 1,000라인당 약 30% 더 많은 로그를 생성하는 과잉 로깅 경향을 보였다. 특히 에이전트는 작은 규모의 코드 수정 시 로그 밀도가 급격히 높아지는 특성을 보였다.

로깅 지침 준수율 분석에서, 이슈 설명에 포함된 강한 지침(구체적 파일이나 레벨 명시)에 대한 에이전트의 준수율은 27.3%에 그쳤다. 반면 '로그를 추가하라'는 식의 약한 지침에 대해서는 50%의 준수율을 보여, 구체적인 요구사항일수록 에이전트가 이를 정확히 반영하지 못하는 역설적인 결과가 나타났다.

사후 수정 작업의 72.5%가 인간에 의해 수행되었으며, 인간 개발자는 코드 리뷰에서 수정을 요청하기보다 직접 후속 커밋을 통해 로그를 고치는 방식을 선호했다. 생존 분석 결과, 인간이 작성한 로그는 초기에 빠르게 수정되는 반면 에이전트의 로그는 상대적으로 더 오래 유지되는 '끈적함(Sticky)'을 보였는데, 이는 에이전트 로그가 우수해서가 아니라 인간이 에이전트의 로깅 실수를 즉각적으로 인지하지 못하거나 방치하기 때문으로 분석됐다.

본 연구는 AI 에이전트의 비기능적 요구사항(NFR) 처리 능력을 정량적으로 평가한 최초의 사례 중 하나이다. 특히 '준수 격차(Compliance Gap)'와 '사후 수리(Post-generation Repair)'라는 개념을 통해 에이전트 워크플로우의 한계를 지적했다.

분석 아키텍처는 데이터 수집, 로깅 탐지, 의도 분류, 생존 분석의 4단계로 구성된다. 의도 분류 단계에서 사용된 LLM Jury 방식은 단일 모델의 편향을 제거하기 위해 서로 다른 아키텍처를 가진 세 가지 모델을 활용하여 신뢰도를 높였다.

통계적 유의성을 확보하기 위해 Cliff’s delta와 Spearman 상관계수를 사용하여 PR 크기와 로깅 수정량 사이의 관계를 분석했다. 분석 결과, 로깅 수정은 주로 대규모 PR에서 집중적으로 발생하며(median 2,702 LOC), 이는 에이전트가 복잡한 로직을 다룰 때 로깅 전략에서 더 큰 혼란을 겪음을 시사한다.

본 연구는 Python, Java, JS/TS 언어에 국한되어 있으며, 정규표현식 기반 탐지 방식을 사용하므로 동적으로 생성되는 로그나 커스텀 로깅 래퍼를 완벽하게 포착하지 못했을 가능성이 있다. 또한 IDE 내 채팅 인터페이스를 통한 일시적인 지침은 데이터셋에 포함되지 않아 분석에서 제외되었다.