Code-A1: 강화학습을 통한 코드 LLM과 테스트 LLM의 적대적 진화

기존의 코드 생성 AI 학습은 사람이 만든 고정된 테스트 케이스에 의존하여 모델이 발전함에 따라 학습 신호가 부족해지는 한계가 있었다. 이 논문은 코드를 짜는 AI와 그 코드의 약점을 찾아내는 테스트 AI를 동시에 학습시켜, 서로 경쟁하며 끊임없이 실력을 키우는 적대적 학습 프레임워크를 제안하여 데이터 구축 비용을 획기적으로 줄였다.

기존 코드 생성 Reinforcement Learning은 Unit Test 통과율을 보상으로 사용한다. 하지만 고정된 테스트 세트는 모델이 똑똑해질수록 너무 쉬워져서 더 이상 배울 점이 없는 희소 보상 문제에 직면한다. 또한 모델 하나가 코드와 테스트를 모두 만들면 자기 자신에게 유리한 쉬운 테스트만 만드는 자기 공모(Self-collusion) 위험이 발생한다.

Code-A1은 이 문제를 해결하기 위해 두 모델을 분리한다. Code LLM은 테스트를 통과해야 보상을 받고, Test LLM은 Code LLM이 틀릴만한 까다로운 테스트를 만들어내야 보상을 받는다. 이는 마치 창과 방패의 대결처럼, 한쪽이 강해지면 다른 쪽도 그에 맞춰 더 정교해져야 하는 적대적 게임 구조를 형성한다.

특히 Test LLM에게 Code LLM이 작성한 코드를 직접 보여주는 화이트박스 접근을 허용한다. 이를 통해 Test LLM은 코드의 논리적 허점을 정밀하게 타격하는 테스트를 설계할 수 있으며, Mistake Book은 과거의 실수를 기록해 두어 모델이 퇴보하지 않고 꾸준히 우상향하며 진화하도록 돕는다.

전체 아키텍처는 Code LLM과 Test LLM이 상호작용하는 루프로 구성된다. Code LLM이 M개의 솔루션을 생성하면, Test LLM은 각 솔루션에 대해 N개의 테스트 세트를 생성한다. 이들은 샌드박스 환경에서 실행되어 상호 보상을 계산하는 기초 데이터가 된다.

Test LLM의 보상 RT는 유효성 보상과 적대적 보상의 가중합으로 정의된다. 유효성 보상은 생성된 테스트가 구문적으로 올바르고 실행 가능한지를 측정하며, 적대적 보상은 새로운 테스트가 과거의 테스트보다 Code LLM을 더 잘 탈락시키는지를 평가한다. [테스트 통과 여부 입력 → 과거 대비 통과율 변화 계산 → 보상 값 출력 → 테스트의 변별력 의미]

Mistake Book은 각 문제에 대해 과거에 실패했던 테스트 케이스들의 집합을 유지한다. 매 단계마다 새로운 실패 사례는 추가되고, 해결된 사례는 제거된다. 이를 통해 Code LLM의 보상은 현재 테스트와 과거 실패 사례에 대한 통과율의 평균으로 계산되어 지속적인 개선을 유도한다. [현재/과거 테스트 결과 입력 → 평균 통과율 산출 → 보상 값 출력 → 모델의 견고함 의미]

정책 최적화에는 GRPO(Group Relative Policy Optimization)를 사용한다. 특히 Test LLM 업데이트 시에는 모든 샘플을 쓰지 않고, 보상의 표준편차가 높은 상위 그룹만 선택하는 TopVar 알고리즘을 적용하여 정보량이 많은 샘플에 학습 자원을 집중한다.

Qwen2.5-Coder 모델을 기반으로 실험한 결과, Code-A1은 모든 규모(1.5B, 3B, 7B)에서 인간이 작성한 테스트(Golden Tests)로 학습한 모델보다 높은 성능을 보였다. 특히 3B 모델의 경우 평균 점수 66.15를 기록하며 Golden Tests 기반 모델(65.14)을 능가했다.

테스트 생성 능력에서도 괄목할만한 성장을 보였다. Code-A1으로 학습된 3B Test LLM은 Mul 스코어 15.29를 달성하여, 단순히 파라미터 수만 많은 7B 베이스 모델(14.72)보다 더 효과적으로 버그를 찾아내는 패턴을 발견했다.

Ablation Study를 통해 화이트박스 접근의 중요성을 확인했다. 코드를 참조하지 못하게 했을 때 HumanEval+ 성능이 72.69%에서 68.66%로 급감했으며, 이는 구현 특화된 버그를 잡기 위해 코드 구조 분석이 필수적임을 시사한다.

Code-A1은 코드 생성과 테스트 생성을 별도의 정책 네트워크로 분리하여 자기 공모 문제를 구조적으로 차단한다. 두 모델은 동일한 체크포인트에서 시작하지만 학습 과정에서 서로 다른 목적 함수를 최적화하며 비대칭적으로 진화한다.

Test LLM은 화이트박스 설정을 통해 후보 코드를 입력으로 받아 타겟팅된 테스트를 생성한다. 이는 블랙박스 방식이 일반적인 에러만 찾는 것과 달리, 특정 로직의 취약점을 공략하는 커리큘럼 학습 효과를 낳는다.

보상 설계에서 알파 파라미터를 통해 테스트의 정답 맞추기(Validity)와 모델 괴롭히기(Adversarial) 사이의 균형을 맞춘다. 실험 결과 알파가 0.5일 때 가장 안정적인 공동 진화가 일어났으며, 극단적인 값은 학습 불안정이나 사소한 테스트 생성으로 이어졌다.

Mistake Book은 단순한 저장소가 아니라 모델 능력의 경계선을 정의하는 역할을 한다. 현재 모델이 통과하지 못하는 테스트들만 유지함으로써, 학습 신호가 가장 강한 영역에서만 최적화가 일어나도록 유도한다.

추론 단계에서는 Best-of-N 전략을 사용하여 Code LLM이 만든 여러 후보 중 Test LLM이 가장 엄격하게 검증한 결과를 선택함으로써 성능을 추가로 향상시킨다.

현재 프레임워크는 어설션(Assertion) 형식의 테스트만 지원하며, 상태 저장 상호작용이나 I/O 기반 테스트 등 복잡한 시나리오는 다루지 못한다. 또한 파이썬 함수 수준의 코드 생성에만 국한되어 검증되었다.