ACES: 누가 테스트를 테스트하는가? 코드 생성을 위한 리브-원-아웃 AUC 일관성 측정

LLM이 생성한 코드를 검증하기 위해 LLM이 생성한 테스트를 사용하면 테스트 자체가 틀릴 수 있다는 순환 참조 문제가 발생한다. 이 논문은 정답을 모르는 상태에서도 오직 테스트들 사이의 일관성만을 분석하여 신뢰할 수 있는 테스트에 더 높은 가중치를 주는 수학적 방법론을 제시하여 코드 선택의 정확도를 높였다.

코드 생성 모델이 만든 여러 후보 중 정답을 고르기 위해 테스트 케이스를 실행하지만, 테스트 케이스 역시 모델이 만든 것이라 오류가 섞여 있을 수 있다. 기존에는 모든 테스트를 똑같이 취급하거나 휴리스틱에 의존했지만, 이 논문은 '좋은 테스트라면 다른 테스트들과 결과가 일치해야 한다'는 상호 검증 원리에 주목했다.

핵심은 Leave-One-Out(하나 제외) 방식이다. 특정 테스트 하나를 빼놓고 나머지 테스트들의 합산 점수로 코드들의 순위를 매긴 뒤, 빼놓았던 테스트가 이 순위와 얼마나 일치하는지(AUC)를 측정한다. 만약 이 테스트가 나머지들이 높게 평가한 코드는 통과시키고 낮게 평가한 코드는 탈락시킨다면, 이 테스트는 일관성이 높고 변별력이 좋은 것으로 판단할 수 있다.

이러한 일관성 측정값은 수학적으로 해당 테스트가 실제로 정답과 오답을 구분해내는 능력에 비례한다. 따라서 일관성이 높은 테스트에 더 큰 목소리(가중치)를 부여함으로써, 설령 틀린 테스트가 섞여 있더라도 전체적인 투표 결과가 정답을 향하도록 유도한다. 이는 정답 레이블이 없는 상황에서 데이터 자체의 내부 구조만으로 품질을 평가하는 자기 참조적 프레임워크를 구축한 것이다.

전체적인 접근 방식은 LLM이 생성한 n개의 코드 후보와 m개의 테스트 케이스 사이의 이진 통과 행렬 B를 입력으로 받아, 각 테스트의 중요도를 나타내는 가중치 벡터 w를 산출하는 것이다. [n x m 크기의 0과 1로 구성된 행렬을 입력으로] → [각 열(테스트)을 하나씩 제외하며 나머지 열들의 합과 해당 열의 상관관계를 계산하여] → [각 테스트의 가중치 w를 얻고] → [이 가중치를 적용한 가중 투표로 코드의 최종 순위를 결정한다].

ACES-C(Closed-form)는 평균적인 테스트 품질이 양호하다는 가정하에 한 번의 계산으로 가중치를 구한다. 각 테스트 j에 대해 LOO-AUC를 계산하고 0.5(무작위 수준)를 뺀 값에 해당 테스트의 통과율 분산인 pj(1-pj)를 곱한다. [LOO-AUC에서 0.5를 뺀 값에 통과율 분산을 곱해] → [가중치 wj를 생성하고] → [0보다 작은 값은 0으로 클리핑하여] → [오답을 유도하는 잘못된 테스트의 영향을 완전히 제거한다].

ACES-O(Optimized)는 가정이 성립하기 어려운 어려운 문제에서 사용하며, 가중치 w를 변수로 하여 전체적인 LOO-AUC 합계를 최대화하도록 반복 최적화한다. AUC는 계단 함수 형태라 미분이 불가능하므로 시그모이드 함수를 이용한 로지스틱 대리 함수(Logistic Surrogate)를 도입했다. [현재 가중치로 계산된 코드 점수 차이를 시그모이드 함수에 입력해] → [미분 가능한 형태의 AUC 근사치를 구하고] → [경사 하강법을 통해 가중치 w를 갱신하여] → [테스트들 사이의 일관성이 최대가 되는 지점을 찾아낸다].

GPT-3.5-Turbo로 생성한 후보군을 대상으로 한 실험에서 ACES-O는 HumanEval 벤치마크의 Pass@1 지표를 기존 다수결 방식(80.49%)보다 높은 84.15%까지 끌어올렸다. 이는 정답 코드에 대한 사전 정보 없이 오직 실행 결과 행렬만 사용한 결과 중 가장 높은 수치이다.

더 엄격한 테스트가 포함된 HumanEval+ 데이터셋에서는 잘못된 테스트의 비중이 높아지는데, 여기서 ACES-O는 74.39%를 기록하며 다수결 방식(69.51%) 대비 개선 폭이 더 커졌다. 이는 제안 방법론이 노이즈가 많은 테스트 환경에서 특히 강력함을 입증한다.

정적 분석 도구인 DS3와 결합했을 때 시너지 효과가 나타났다. HumanEval에서 ACES-C와 DS3를 결합한 모델은 85.37%의 Pass@1을 기록하여, 개별 모델들을 상회하는 성능을 보였다. 이는 ACES가 제공하는 실행 기반 신호와 정적 분석 신호가 서로 보완적임을 시사한다.

논문은 Pass@k의 하한선이 가중치 w의 신호 대 잡음비(SNR)인 R(w)에 의해 결정됨을 수학적으로 증명했다. 오라클 가중치는 각 테스트의 변별력 δj에 비례해야 하는데, 실제로는 δj를 알 수 없으므로 LOO-AUC를 대리 지표로 사용한다. Theorem 3(LOO-AUC Identity)은 E[LOO-AUCj] - 1/2 = cj * δj 관계를 통해 관찰 가능한 통계량이 잠재적 품질 지표인 δj의 부호를 보존함을 보여준다. 구현 측면에서 ACES-O는 Adam 옵티마이저를 사용하며, 계산 효율성을 위해 상위 K개의 유망한 후보군에 대해서만 최적화를 수행하는 2단계 파이프라인을 채택했다.

이 방법론은 테스트 케이스들이 서로 독립적으로 샘플링되었다는 가정을 전제로 한다. 만약 LLM이 서로 유사하거나 동일한 오류를 공유하는 테스트 케이스들을 대량으로 생성할 경우(Correlated tests), 일관성 기반의 필터링 효과가 반감될 수 있음을 명시했다.