커밋 학습하기: 온라인 저장소 메모리를 통한 유기적인 풀 리퀘스트 생성

기존 AI 코딩 도구는 기능적으로는 맞지만 프로젝트 고유의 스타일이나 내부 API를 무시해 실제 개발자들에게 거절당하는 경우가 많다. 이 논문은 에이전트가 프로젝트의 진화 과정을 학습하여 기존 코드베이스와 조화를 이루는 '유기적인' 코드를 생성하는 새로운 패러다임을 제시한다.

기존 LLM 코딩 에이전트는 현재 시점의 코드 스냅샷만 보고 작업을 수행한다. 이는 마치 완성된 건물의 도면만 보고 그 건물이 왜 특정 구조로 설계되었는지 모르는 상태에서 수리하는 것과 같다. 이로 인해 에이전트는 프로젝트에 이미 존재하는 유틸리티 함수를 새로 만들거나, 유지보수자가 선호하지 않는 방식으로 코드를 짜는 '이질적인(alien)' 결과를 낸다.

이 문제를 해결하기 위해 에이전트에게 '저장소의 역사'를 가르친다. 에이전트는 과거의 커밋들을 시간 순서대로 따라가며 직접 코드를 짜보고, 실제 개발자가 짠 코드와 자신의 코드가 어떻게 다른지 대조(Contrastive)한다. 이 과정에서 에이전트는 단순한 문법을 넘어 해당 프로젝트만의 '암묵적인 규칙'을 임베딩 공간이 아닌 구조화된 텍스트 형태의 '기술 메모리'에 저장한다.

결과적으로 에이전트는 새로운 작업이 주어졌을 때 사전 학습된 일반적인 지식에만 의존하지 않고, 축적된 기술 메모리를 참조하여 프로젝트의 맥락에 깊게 뿌리 내린 코드를 생성한다. 이는 에이전트가 단순한 코드 생성기에서 프로젝트의 역사와 철학을 이해하는 '숙련된 기여자'로 진화하는 과정과 같다.

전체 프로세스는 저장소 온보딩(Learning Phase)과 기술 조건부 해결(Solve Phase)로 구성된다. 온보딩 단계에서 에이전트는 과거 커밋 $c_t$의 이슈 설명 $d_t$를 입력받아 코드를 수정하는 Blind Attempt를 수행한다. 이후 실제 정답인 Oracle Diff $riangle_t$가 공개되면, 자신의 결과물 $riangle_t$와 정답을 비교하는 Supervised Contrastive Reflection을 실행한다.

성찰 과정은 [에이전트의 시도와 실제 정답 입력] → [파일 위치, 로직, API 사용, 스타일의 차이점 식별] → [추상화된 개발 패턴 추출] → [기술 문서 $M$ 업데이트] 순으로 진행된다. 업데이트 연산은 새로운 패턴 생성, 기존 패턴 수정, 잘못된 정보 삭제(CRUD)를 포함하며, 이를 통해 에이전트의 역량 부족 지점(Capability Gap)을 정확히 메우는 지식 베이스를 구축한다.

해결 단계에서는 새로운 작업 $d_k$와 현재 코드 스냅샷 $S_k$, 그리고 축적된 기술 문서 $M$이 에이전트에게 제공된다. 에이전트는 [작업 설명과 기술 문서 입력] → [관련 기술 선택 및 코드베이스 탐색] → [기술 가이드라인 준수 패치 생성] 과정을 거친다. 별도의 고정된 워크플로 없이 에이전트가 스스로 어떤 기술을 참조할지 결정하는 자율적 구조를 채택했다.

실험 결과, 기술 학습을 거친 에이전트는 파일 위치 지정 정확도(File IoU)에서 기본 모델 대비 최대 19%p 향상된 80%를 기록했다. 또한 문제 해결을 위한 도구 호출 횟수(Trajectory Steps)가 21% 감소(56.8회 vs 71.9회)하여, 축적된 지식이 코드 탐색 효율성을 크게 높였음을 입증했다.

코드 비대화(Patch Bloat)를 측정하는 Line Deviation Ratio에서도 기술 학습 에이전트가 0.69를 기록해 기본 모델(1.59)보다 훨씬 정답에 가까운 간결한 코드를 작성했다. 이는 내부 API를 적절히 재사용하여 불필요한 중복 구현을 피했기 때문이다.

LLM 판정단을 통한 정성 평가에서는 로직 유사성(Logic Similarity) 50% 대 25%, 중복 제거(Redundancy Reduction) 54% 대 41%로 기본 모델을 압도했다. 특히 과거 커밋을 순차적으로 학습하는 방식이 병렬 학습보다 더 일관성 있고 깊이 있는 지식을 형성하는 것으로 나타났다.

프레임워크는 에이전트가 저장소의 진화 과정에 온라인으로 적응하는 능력을 평가하는 데 중점을 둔다. 데이터 누수를 방지하기 위해 엄격한 시간적 컷오프(Temporal Cutoff)를 설정하여, 학습에 사용된 모든 커밋이 평가용 커밋보다 시간적으로 앞서도록 보장한다. 이는 사전 학습 데이터에 포함되었을 가능성이 있는 공개 저장소 평가의 한계를 극복한다.

기술 문서(Skill Document)는 에이전트가 직접 관리하는 동적 메모리다. 정적인 RAG와 달리, 에이전트가 자신의 실수와 정답 사이의 간극을 분석하여 생성한 '성찰 결과'를 담고 있어 실제 작업 수행 시 판단 근거로 강력하게 작용한다. 학습 과정에서 에이전트는 파일 읽기, 검색, 편집 도구를 자유롭게 사용하여 코드베이스를 탐색한다.

평가 지표는 Jaccard 유사도를 기반으로 한 파일 수준의 위치 정확도(File IoU), 정답 대비 추가된 라인 수의 비율을 통한 코드 비대화 측정, 그리고 LLM을 활용한 4대 차원(범위 정렬, 로직 유사도, 중복/환각 방지, 코드 스타일) A/B 테스트를 포함한다. 이를 통해 기능적 정답을 넘어선 '유기적 정렬' 상태를 정량화한다.

현재 연구는 고도로 결합된 산업용 코드베이스에서 검증되었으나, 다양한 오픈소스 프로젝트에 대한 일반화 가능성은 추가 검증이 필요하다. 또한 LLM 판정단을 활용한 평가 방식은 모델 고유의 편향이나 부정확성을 완전히 배제하기 어렵다는 한계가 있다.