review-replay: PR 리뷰 코멘트의 실제 반영 여부를 검증하는 도구

프로젝트는 실무 환경에서 인간과 에이전트 혼재 시 발생하는 신뢰 문제에 직접 대응하는 방식이라서 관심을 끌었다. 많은 사용자가 에이전트가 '해결됨'을 회신하고도 실제 변경이 누락되는 경험을 공유했고, 규칙 기반 우선 처리와 LLM 보완이라는 설계에 대해 실용적이라는 반응이 많았다. 일부는 분류 오탐을 줄이기 위한 라벨링 데이터와 평가 사례의 확대를 요구했고, 외부 모델 사용에서의 보안·프라이버시 고려를 강조하는 목소리도 있었다.

• 작업 초기에는 GitHub Action을 옵셔널 체크로 배치해 실제 병합 차단이 아닌 리포트 용도로 먼저 운용하면서 분류 정확도를 관찰하는 전략이 권장된다.
• 규칙 기반 단축 경로의 범위를 보수적으로 설정해 명백한 증거(라인을 건드린 커밋, 리뷰어의 resolve 등)만 자동 확정 대상으로 삼으면 오탐을 줄일 수 있다.
• 평가기반(픽스처) 라벨을 운영 중인 리포지토리에서 몇 가지 대표 PR로 만들어 하니스로 반복 시험해 모델별 오판 패턴을 수집하면 튜닝에 유용하다.

Agent

— 코드 작성이나 리뷰 대응을 자동화하도록 설계된 소프트웨어 대리 실행체로서 사용자 지침 또는 트리거에 따라 코드를 생성하거나 PR 스레드에 응답하고 커밋을 생성할 수 있다. 에이전트는 입력(리뷰 지적 등)을 받고 내부 정책과 도구 호출을 통해 변경을 시도하며 그 결과를 PR에 반영한다. review-replay 맥락에서는 에이전트가 '해결됨'이라고 회신했을 때 실제로 변경이 반영되었는지 판정해야 하는 주체로 작동한다.

GitHub Action

— GitHub 저장소에서 이벤트 기반으로 자동화 워크플로를 실행하는 CI/CD 도구로서 PR 푸시, 풀 리퀘스트 열기·갱신 등 트리거에 반응해 스크립트나 컨테이너를 실행한다. review-replay는 병합 조건으로 미해결 피드백을 검사하는 액션으로 리포지토리의 머지 게이트에 통합될 수 있다. 액션 형태는 서버리스로 동작하며 푸시마다 상태를 갱신하는 용도로 적합하다.

Evaluation Harness

— 모델 분류 성능을 재현 가능한 방식으로 측정하기 위해 고정된 입력(픽스처)과 정답 레이블을 제공하고 모델 출력을 비교하는 테스트 툴체인이다. 이 하니스는 라벨링된 예제를 사용해 분류 정확도, 오류 유형, 거짓 긍정 사례를 수집하며 모델 간 비교를 가능하게 한다. review-replay 리포지토리의 하니스는 다양한 모델에서 'addressed' 판정의 오탐을 식별하는 근거로 사용된다.