QiMeng-PRepair: 편집 인지 보상 최적화를 통한 정밀한 코드 수정

LLM이 코드를 고칠 때 멀쩡한 부분까지 다 갈아엎는 '과도한 수정(Over-editing)' 문제를 해결하여 코드 리뷰 효율성을 높였습니다. 최소한의 수정으로 버그를 고치도록 유도함으로써 추론 속도를 15% 가속하고 실무적인 코드 어시스턴트 성능을 확보했습니다.

기존의 LLM 기반 코드 수리는 단순히 '테스트 통과 여부'라는 이진 보상에만 집중했다. 이는 마치 학생이 수학 문제의 오타 하나를 고치기 위해 풀이 과정 전체를 지우고 새로 쓰는 것과 같다. 결과는 맞을지 몰라도, 원래의 논리 구조가 파괴되어 검토가 어려워지고 연산 자원도 낭비된다. Transformer 아키텍처에서 이러한 방식은 불필요한 토큰 생성을 유발하여 추론 비용을 증가시킨다.

이 논문은 강화학습의 보상 설계 단계에서 '편집 거리(Edit Distance)' 개념을 도입한다. 모델이 정답을 맞혔을 때, 원본 코드와 수정된 코드 사이의 거리가 짧을수록 더 높은 보상을 주는 방식이다. 이를 통해 모델은 코드 전체를 새로 쓰는 대신, 오류가 있는 특정 임베딩 영역에 더 높은 주의(Attention)를 기울이는 법을 배우게 된다.

결과적으로 모델은 코드의 의미론적 구조를 더 깊이 이해하게 된다. 단순히 정답 패턴을 흉내 내는 것이 아니라, 어떤 라인이 버그의 원인인지 암시적으로 국소화(Localization)하는 능력을 갖추게 된다. 이는 적은 수정으로도 정확한 결과를 도출하며, 기존 코드를 재사용하는 추측적 디코딩 기술의 효율을 극대화하는 기반이 된다.

PRepair 프레임워크는 두 단계로 구성된다. 첫 번째 단계인 Self-Breaking은 모델이 골든 코드(정답)에 스스로 버그를 주입하여 대규모 학습 데이터를 생성하는 과정이다. 이때 min-max 샘플링 전략을 사용하여 버그 패턴의 다양성을 확보한다. [정답 코드 입력 → 버그 주입 프롬프트 실행 → 다양한 버그 코드 생성 → 학습 데이터셋 구축]

두 번째 단계인 Self-Repairing에서는 EA-GRPO(Edit-Aware Group Relative Policy Optimization)를 사용하여 모델을 최적화한다. EA-GRPO는 그룹 내 샘플들의 평균 정확도가 특정 임계값(alpha)을 넘을 때만 편집 페널티를 활성화한다. [그룹 내 수리 결과 생성 → 정확도 계산 → 임계값 초과 시 편집 비용(DEC) 기반 페널티 계산 → 최종 보상 산출]

편집 페널티 P_i^G는 시그모이드 함수를 사용하여 정규화된다. [개별 샘플의 편집 비용 - 그룹 평균 비용 → 표준편차로 나눔 → 시그모이드 적용 → 0~1 사이의 페널티 값 산출]. 이 값은 모델이 정답을 맞혔을 때 보상에서 차감되어, 동일한 정답이라도 수정량이 적은 결과에 더 높은 가중치를 부여하도록 유도한다.

Python과 Verilog 두 가지 언어 환경에서 실험을 진행했다. Qwen2.5-Coder-7B 모델에 적용했을 때, 가장 엄격한 지표인 fix1@1(수정량이 최소이면서 정답인 비율)이 Python에서 20.95%, Verilog에서 31.41% 대폭 상승했다. 이는 단순히 정답률(pass@1)만 높이는 기존 GRPO 방식보다 정밀한 수리 능력이 월등함을 보여준다.

Ablation Study 결과, 편집 페널티 계수(beta)와 정확도 임계값(alpha)의 조절이 성능에 결정적인 영향을 미쳤다. 페널티가 너무 크면 모델이 수리 자체를 포기하고, 너무 작으면 과도한 수정 문제가 해결되지 않았다. 최적의 설정에서 모델은 버그가 있는 라인에 대한 Attention Score가 대조군 대비 확연히 높게 나타났다.

효율성 측면에서는 Speculative Edits 기법과 결합 시, EA-GRPO로 학습된 모델은 기존 코드 재사용률이 높아져 디코딩 처리량(TPS)이 원본 모델 대비 약 15% 향상되었다. 반면 일반 GRPO 모델은 과도한 수정으로 인해 오히려 처리량이 35% 감소하는 역효과가 나타났다.

PRepair는 코드 수리 작업을 단순한 시퀀스 생성 문제에서 '최소 편집 최적화' 문제로 재정의했다. 핵심 알고리즘인 EA-GRPO는 강화학습의 Advantage 계산 시 편집 비용(Edit Cost)을 동적으로 반영한다. 이는 모델이 정답 공간(Solution Space) 내에서 원본과 가장 가까운 지점을 찾도록 유도하는 정규화 효과를 가진다.

데이터 부족 문제를 해결하기 위해 도입된 Self-Breaking 기법은 LLM의 추론 능력을 역으로 활용하여 '설득력 있는 버그'를 생성한다. 이는 단순한 무작위 노이즈 주입보다 실제 개발자가 저지르기 쉬운 논리적 오류를 더 잘 모사하며, 이를 통해 학습된 모델은 도메인 간(Python to Verilog) 전이 학습 성능도 우수함을 입증했다.

수학적으로는 추측적 디코딩의 수락률(Acceptance Rate) R이 1 - DEC(Edit Cost)에 비례함을 증명하여, 편집 비용 최적화가 곧 추론 가속으로 이어진다는 이론적 근거를 제시했다. 구현 시에는 AST(Abstract Syntax Tree) 파싱을 통해 주석이나 공백 변경 등 의미 없는 수정은 비용 계산에서 제외하여 평가의 객관성을 높였다.

현재 PRepair는 함수 단위의 코드 수리에 집중하고 있어, 파일 전체나 프로젝트 수준의 광범위한 컨텍스트가 필요한 수리 작업에서의 성능은 검증되지 않았다. 또한 하이퍼파라미터(alpha, beta) 설정이 데이터셋의 난이도에 따라 민감하게 반응하여 자동 튜닝 기술이 추가로 필요하다.