DPO와 실행 기반 보상을 활용한 자가 개선 코딩 에이전트 아키텍처

실용적 조언

코딩 에이전트 학습 시 단순히 정답 여부만 따지지 말고 테스트 통과율(Partial Credit)을 DPO의 선호도 기준으로 활용하라.
모델의 온도를 다양하게 설정하는 것만으로도 DPO 학습에 필요한 유의미한 대조군 데이터를 생성할 수 있다.

섹션별 상세

두 개의 동일한 모델 인스턴스가 독립적으로 코딩 문제를 해결하고 실행 결과에 따라 DPO 쌍을 생성하여 학습한다. 성공한 코드는 선택(Chosen)되고 실패한 코드는 거부(Rejected)되는 방식으로 데이터셋이 구성되며, 이 과정이 반복되면서 모델은 점진적으로 개선된다. 별도의 판별 모델이나 인간의 개입 없이 오직 Python 인터프리터의 실행 결과와 테스트 통과율(pass_count)만을 보상 신호로 활용하는 것이 핵심이다.

각 에이전트는 서로 다른 온도(Temperature) 설정을 가진 4개의 전문가(논리형 0.3, 창의형 0.7, 회의형 0.4, 공감형 0.5)를 보유하여 동일 가중치 내에서도 다양한 해결책을 도출한다. 코디네이터는 이들 중 가장 많은 테스트 케이스를 통과한 결과물을 최종 선택하며, 두 에이전트가 모두 실패하더라도 상대적으로 높은 통과율을 보인 쪽을 선택하여 학습 신호로 활용함으로써 데이터 낭비를 최소화한다.

상보적 학습 시스템(CLS) 이론을 적용하여 세션 간 지속적인 메모리를 구축하고 수면 단계(Sleep Phase)를 통해 지식을 통합한다. 에피소드 기억은 임베딩 기반 검색으로 관리되며, 각 사이클이 끝날 때마다 반복되는 오류 패턴을 의미론적 기억으로 변환하여 다음 시도 시 '과거에 발생한 인덱스 에러'와 같은 맥락을 모델에게 미리 제공한다.

Colab A100 환경에서 1사이클(10라운드) 동안 39개의 DPO 쌍을 학습시킨 결과, HumanEval 벤치마크에서 Pass@1 기준 0.671에서 0.683으로 1.2%p 성능 향상을 확인했다. 이는 매우 적은 학습 데이터로도 실행 기반의 보상 신호가 모델의 코딩 능력을 올바른 방향으로 유도할 수 있음을 시사하는 초기 지표이다.

용어 해설

직접 선호 최적화(DPO): — 인간의 피드백 없이도 모델이 생성한 두 결과물 중 더 나은 것을 선택하여 직접 학습시키는 기법이다. 기존 RLHF의 복잡한 보상 모델 학습 과정을 생략하고 로그 확률 차이를 이용해 정책을 직접 최적화함으로써 효율적인 성능 향상을 가능하게 한다.
검증 가능한 보상(Verifiable Reward): — 모델의 출력이 정답인지 여부를 코드 실행 결과나 수학적 증명처럼 객관적으로 검증할 수 있는 지표를 의미한다. 주관적인 판단 대신 실행 성공 여부나 테스트 통과율을 보상 신호로 사용하여 모델의 논리적 추론 능력을 강화한다.
상보적 학습 시스템(Complementary Learning Systems): — 빠른 학습을 담당하는 해마와 점진적인 지식 통합을 담당하는 대뇌 피질의 상호작용을 모사한 인공지능 아키텍처 이론이다. 에피소드 기억을 임베딩으로 저장하고 수면 단계에서 이를 패턴화하여 의미론적 기억으로 변환함으로써 장기적인 성능 개선을 도모한다.

언급된 도구

Claude Code추천

프로젝트 개발 및 구현 보조

Colab A100중립

초기 실험 및 DPO 학습 환경

언급된 리소스

GitHubCogArch GitHub Repository