DPO와 실행 기반 보상을 활용한 자가 개선 코딩 에이전트 아키텍처

초기 실험 결과임에도 불구하고 실행 기반 보상과 DPO를 결합한 접근 방식에 대해 긍정적인 반응이며, 특히 로컬 하드웨어에서의 재현 가능성에 주목하고 있습니다.

• 코딩 에이전트 학습 시 단순히 정답 여부만 따지지 말고 테스트 통과율(Partial Credit)을 DPO의 선호도 기준으로 활용하라.
• 모델의 온도를 다양하게 설정하는 것만으로도 DPO 학습에 필요한 유의미한 대조군 데이터를 생성할 수 있다.

DPO

— 인간의 피드백 없이도 모델이 생성한 두 결과물 중 더 나은 것을 선택하여 직접 학습시키는 기법이다. 기존 RLHF의 복잡한 보상 모델 학습 과정을 생략하고 로그 확률 차이를 이용해 정책을 직접 최적화함으로써 효율적인 성능 향상을 가능하게 한다.

Verifiable Reward

— 모델의 출력이 정답인지 여부를 코드 실행 결과나 수학적 증명처럼 객관적으로 검증할 수 있는 지표를 의미한다. 주관적인 판단 대신 실행 성공 여부나 테스트 통과율을 보상 신호로 사용하여 모델의 논리적 추론 능력을 강화한다.

Complementary Learning Systems

— 빠른 학습을 담당하는 해마와 점진적인 지식 통합을 담당하는 대뇌 피질의 상호작용을 모사한 인공지능 아키텍처 이론이다. 에피소드 기억을 임베딩으로 저장하고 수면 단계에서 이를 패턴화하여 의미론적 기억으로 변환함으로써 장기적인 성능 개선을 도모한다.