EarlyEval: 에이전트 평가를 조기에 끝내는 결과 예측

왜 중요한가

LLM 에이전트 평가는 한 태스크에서 수십 단계의 도구 호출과 모델 추론을 수행하므로 반복적인 개발 과정에서 비용이 빠르게 누적됩니다. EarlyEval은 전체 태스크 수를 줄이는 Benchmark Distillation과 달리 각 태스크의 남은 실행을 줄여, SWE-bench Verified에서 실행 단계 26.0%와 입력 토큰 32.7%를 절감하면서 Pass@1 왜곡을 1.1%p로 제한했습니다.

핵심 기여

태스크 내부 실행을 줄이는 조기 결과 예측

완료된 실행 궤적의 중간 prefix만으로 최종 성공·실패를 추정하고, 예측 신뢰도가 충분히 높아지는 첫 단계에서 실행을 중단하는 평가 효율화 축을 제안했습니다.

행동·텍스트·참조 특징을 결합한 EarlyEval

행동 통계, TF-IDF 기반 텍스트 특징, 참조 해답과의 구조적 겹침을 LightGBM 성공·실패 분류기에 입력하고, 보정된 두 확률이 각각의 임계값을 넘을 때 조기 종료하는 경량 구조를 구현했습니다.

세 가지 에이전트 벤치마크의 엄격한 검증

SWE-bench Verified, TerminalBench, Toolathlon에서 21,000개가 넘는 결과 라벨 궤적을 수집하고 Leave-One-Agent-Out 방식으로 검증해, 보지 못한 에이전트에서도 13%–26%의 실행 단계와 최대 44.1%의 입력 토큰 절감을 측정했습니다.

평가 점수와 순위 보존

권장 임계값에서 에이전트별 resolve rate의 평균 절대 편차를 약 2%p 이내로 유지했으며, 전체 에이전트 순위의 Spearman 상관계수는 0.959–0.994 범위로 나타났습니다.

핵심 아이디어 이해하기

일반적인 LLM 에이전트 평가는 파일 읽기, 명령 실행, 도구 호출, 오류 수정 같은 여러 이벤트를 순서대로 수행한 뒤 마지막 결과를 채점합니다. 한 태스크의 성공 여부를 알기 위해 모든 단계를 기다리지만, 실제로는 중간 행동만으로 결과 방향이 뚜렷해지는 경우가 많습니다. 예를 들어 올바른 한 줄 수정이 적용된 뒤 남은 테스트만 반복되거나, 같은 오류에 같은 수정만 반복되면 이후 실행이 최종 판정을 바꾸지 않을 가능성이 높습니다.

EarlyEval은 이 중간 신호를 과거에 완료된 에이전트 궤적에서 학습합니다. 각 궤적을 단계별 prefix로 잘라 최종 성공 또는 실패 라벨을 붙이고, 현재까지의 행동 횟수·오류·테스트 상태·텍스트·참조 패치와의 겹침을 고정 길이 특징 벡터로 변환합니다. 그러면 매 단계의 입력은 지금까지의 부분 궤적이고, 출력은 성공 확률과 실패 확률입니다.

성공과 실패를 하나의 분류기로 합치지 않고 두 LightGBM 예측기를 따로 학습해 긍정 증거와 부정 증거를 독립적으로 누적합니다. 두 확률이 모두 임계값 아래에 있으면 에이전트를 계속 실행하고, 성공 확률 또는 실패 확률이 해당 임계값 이상이 되는 첫 단계에서 실행을 멈춥니다. 따라서 임계값을 높이면 잘못된 조기 종료는 줄지만 절감량이 작아지고, 임계값을 낮추면 더 많은 단계를 줄이는 대신 평가 점수 왜곡이 커집니다.

참조 해답이 없는 TerminalBench와 Toolathlon에서도 행동·텍스트 특징만으로 작동한 결과는 핵심 신호가 정답 패치 자체보다 에이전트의 실행 패턴에 넓게 분산되어 있음을 뒷받침합니다. 다만 최종 leaderboard 점수와 공개적으로 인용할 공식 수치는 약 1–2%p의 편차가 남을 수 있으므로 전체 실행으로 산출해야 합니다.

방법론

EarlyEval은 오프라인 predictor construction과 온라인 step-by-step inference로 나뉩니다. 오프라인 단계에서는 벤치마크의 완료된 에이전트 궤적을 모으고, 10단계 미만의 궤적을 제외한 뒤 각 궤적의 모든 prefix에 최종 성공·실패 라벨을 연결합니다. 학습과 검증은 태스크 단위로 분리해 같은 궤적에서 나온 prefix가 양쪽에 섞이지 않도록 구성합니다.

각 prefix는 세 종류의 특징으로 변환됩니다. Behavioral Features에는 단계·도구 호출·편집·검색·테스트·오류 횟수, 마지막 단계의 상태, 주요 이벤트 발생 시점, 반복 행동과 정체 패턴이 포함됩니다. Textual Features에는 태스크 설명, 전체·최근 행동, 전체·최근 환경 피드백을 별도 TF-IDF 블록으로 담고, 각 블록을 Truncated SVD로 줄여 연결합니다. Reference-Solution Features가 제공되는 SWE-bench Verified에서는 수정 파일·API·테스트와 gold patch 사이의 Jaccard 겹침과 hit count도 계산합니다.

동일한 특징 벡터를 성공 예측기와 실패 예측기에 각각 입력합니다. 성공 예측기는 최종 라벨이 성공인 prefix를, 실패 예측기는 최종 라벨이 실패인 prefix를 양성 대상으로 학습합니다. 긴 궤적이 손실을 과도하게 지배하지 않도록 각 prefix에 궤적 길이에 반비례하는 가중치를 부여하고, 검증 fold에서 Platt Scaling으로 원시 점수를 확률로 보정합니다.

온라인 단계에서는 새 에이전트가 태스크를 한 단계 진행할 때마다 누적 prefix에서 같은 특징을 추출합니다. 두 예측기가 계산한 성공 확률과 실패 확률을 각각 임계값과 비교해 어느 하나가 먼저 기준을 넘으면 해당 결과를 기록하고 남은 모델 호출·도구 실행·테스트를 생략합니다. 두 기준이 모두 낮으면 다음 단계로 진행하며, 자연 종료까지 기준을 넘지 않으면 실제 완료 결과를 사용합니다. LightGBM 추론은 단일 CPU 코어에서 수백 차원 벡터를 1밀리초보다 짧게 처리해 단계별 판정 비용을 작게 유지합니다.

주요 결과

권장 운용점에서 SWE-bench Verified는 임계값 0.95일 때 실행 단계 26.0%, 입력 토큰 32.7%, 출력 토큰 28.7%를 줄였고 resolve rate의 평균 절대 편차는 1.1%p였습니다. Toolathlon은 임계값 0.90에서 실행 단계 23.0%, 입력 토큰 44.1%, 출력 토큰 29.4%를 줄였으며 평균 절대 편차는 0.9%p였습니다. TerminalBench는 데이터 누수 통제 방식에 따라 10.7%–24.6%의 단계 절감과 0.7%–2.1%의 평균 절대 편차를 기록했습니다.

임계값은 절감량과 평가 충실도의 직접적인 조절 장치로 작동했습니다. SWE-bench Verified에서 임계값을 0.95에서 0.75로 낮추면 단계 절감률이 26.0%에서 63.4%로 커졌지만 평균 절대 편차는 1.1%에서 4.1%로 증가했습니다. 반대로 높은 임계값은 더 적은 궤적을 조기에 멈추지만 예측 정확도와 원래 점수의 일치도를 높였습니다.

EarlyEval이 만든 에이전트 순위는 전체 실행 순위와 높은 상관을 보였습니다. Spearman 상관계수는 SWE-bench Verified에서 0.991, TerminalBench의 동일 scaffold 제외 조건에서 0.994, Toolathlon에서 0.994였으며, 가장 엄격한 TerminalBench 동일 model 제외 조건에서도 0.959였습니다. 정확한 순위를 유지한 에이전트 비율은 59%–81%였습니다.

특징 제거 실험에서 Behavioral Features를 모두 없애면 coverage가 34.8%에서 23.4%로, 단계 절감률이 26.0%에서 16.4%로 감소했지만 정확도는 95.0%에서 94.7%로만 변했습니다. 반면 Reference-Solution Features를 제거해도 단계 절감률은 24.7%로 유지됐습니다. LightGBM은 coverage 34.8%, 정확도 95.0%, 단계 절감률 26.0%로 Direct MLP, 선형 Logistic Regression, Qwen LoRA judge보다 비용·충실도 균형이 좋았습니다.

기술 상세

EarlyEval은 태스크별 부분 궤적을 고정 길이 벡터로 바꿔 두 개의 LightGBM gradient-boosted decision tree 앙상블에 입력합니다. Behavioral Features는 총량·최근 단계·이벤트 시점·작업 패턴·오류 및 테스트 상태를 포함하고, Textual Features는 태스크 prompt 64차원, action 그룹 128차원, feedback 그룹 128차원으로 구성됩니다. 텍스트는 word unigram과 bigram을 TF-IDF로 벡터화하고 minimum document frequency 5, vocabulary 최대 30,000 terms를 적용한 뒤 Truncated SVD를 사용합니다.

참조 해답이 있는 경우 gold patch의 파일·API·테스트와 현재 prefix가 접촉한 항목을 비교합니다. Reference-Solution Features는 patch 크기, 변경 파일 수, hunk 수, fail-to-pass·pass-to-pass 테스트 수, API·import·exception token 수, directory depth와 repository·difficulty·version을 포함합니다. 참조 패치가 없는 벤치마크에서는 이 계열을 제외하고 행동·텍스트 계열만 사용합니다.

성공 예측기와 실패 예측기는 같은 특징을 받지만 서로 반대되는 양성 라벨로 학습합니다. 각 prefix의 가중치는 궤적 길이 T에 대해 1/(T+1)로 두어 한 궤적이 전체 학습 목적에 동일한 총 가중치를 갖게 합니다. LightGBM 설정은 learning rate 0.03, 31 leaves, maximum depth 6, minimum child samples 200, row subsampling 0.75, feature subsampling 0.70, L1 regularization 0.5, L2 regularization 10.0이며 최대 2,000 boosting rounds와 50회 검증 개선 없음 조건의 early stopping을 사용합니다.

검증 데이터에서 Platt Scaling을 적용해 각 예측기의 원시 점수를 확률로 보정합니다. 온라인 단계에서는 보정된 성공 확률과 실패 확률을 각각 성공·실패 임계값과 비교하며, 둘 중 하나가 먼저 임계값 이상이 되면 해당 라벨로 조기 종료합니다. 예를 들어 SWE-bench Verified에서 임계값 0.95를 사용하면 dual mechanism이 26.0%의 단계를 줄이고 평균 절대 Pass@1 편차를 1.1%p로 제한합니다. 임계값 0.75로 낮추면 단계 절감은 63.4%가 되지만 편차는 4.1%로 커집니다.

예측기 선택에서도 차이가 나타났습니다. LightGBM은 34.8% coverage와 95.0% 정확도로 26.0%의 단계를 줄였고, Direct MLP는 26.9% coverage·87.9% 정확도로 20.0%를 줄였습니다. Qwen LoRA judge는 18.7% coverage와 90.7% 정확도로 17.9%를 줄였지만 매 단계 LLM forward pass가 필요합니다. LightGBM은 같은 특징을 sub-millisecond CPU 추론으로 처리해 조기 종료로 아낀 계산량을 판정 비용이 잠식하지 않게 합니다.

한계점

EarlyEval은 대상 벤치마크에 완료된 결과 라벨 궤적 풀이 있어야 학습할 수 있으므로, 과거 실행이 전혀 없는 신규 벤치마크의 첫 평가에는 적용하기 어렵습니다. 조기 종료는 resolve rate에 평균 약 1–2%p의 체계적 편차를 만들 수 있어 최종 leaderboard 점수와 공식적인 headline 수치는 전체 실행으로 산출해야 합니다. 또한 TerminalBench에서 테스트 scaffold를 학습에 포함하지 않는 조건에서는 성공 예측기의 최고 정밀도가 69.0%로 떨어지고, 동일 model 제외 조건의 82.7%보다 낮아져 scaffold 변화에 대한 일반화가 더 어려웠습니다.

실무 활용

EarlyEval은 동일한 벤치마크를 반복 실행하며 prompt, scaffold, base LLM을 비교하는 개발 과정에서 조기 선별용 평가기로 사용할 수 있습니다. 완료된 결과 라벨 궤적을 확보한 뒤 새 에이전트의 각 실행 단계에 예측기를 붙이면, 높은 확률의 성공·실패 사례에서 남은 모델 호출과 도구 실행을 생략하면서 전체 순위 비교를 유지할 수 있습니다.

SWE-bench Verified에서 여러 base LLM의 코드 수정 성능을 반복 비교하는 비용 절감
TerminalBench와 Toolathlon처럼 참조 해답이 없는 에이전트 벤치마크의 단계별 실행 축소
prompt나 scaffold를 수정한 뒤 전체 실행 전에 에이전트 순위를 빠르게 선별
과거 leaderboard 실행 궤적을 활용한 반복 평가 파이프라인의 입력·출력 토큰 절감

코드 공개 여부: 공개

코드 저장소 보기

키워드

EarlyEval(조기 결과 예측 프레임워크)LLM agents(대규모 언어 모델 에이전트)LightGBM(gradient-boosted decision tree 라이브러리)Early Stopping(조기 종료)SWE-bench Verified(소프트웨어 에이전트 벤치마크)TerminalBench(셸 상호작용 벤치마크)Toolathlon(도구 사용 벤치마크)

용어 해설

조기 결과 예측(Early Outcome Prediction): — 에이전트가 전체 실행을 끝내기 전에 중간 행동 궤적에서 최종 성공·실패 결과를 추정하는 평가 기법입니다. 예측 확률이 정해진 임계값을 넘으면 남은 단계를 실행하지 않고 결과를 기록해 태스크별 평가 비용을 줄입니다.
에이전트 1개 제외 검증(Leave-One-Agent-Out): — 전체 에이전트 구성 중 하나를 테스트 대상으로 남기고 나머지 에이전트의 궤적으로 예측기를 학습하는 검증 방식입니다. 학습에 보지 못한 모델이나 scaffold에도 조기 결과 예측이 작동하는지 측정하는 데 사용됩니다.
LightGBM: — Gradient-boosted decision tree 앙상블을 빠르게 학습하고 추론하는 라이브러리입니다. EarlyEval에서는 행동·텍스트·참조 해답 특징을 입력받아 성공 확률과 실패 확률을 각각 계산하며, 단일 CPU 코어에서 수백 차원 벡터를 1밀리초보다 짧게 처리합니다.
Platt 보정(Platt Scaling): — 분류기의 원시 점수를 검증 데이터에 맞춘 1차원 Logistic Regression으로 확률값으로 재조정하는 방법입니다. EarlyEval은 성공·실패 예측기의 점수를 보정해 서로 다른 검증 fold에서도 임계값이 일관된 신뢰도로 작동하게 합니다.
TF-IDF: — 문서에서 단어의 빈도와 전체 문서에서의 희소성을 함께 사용해 텍스트를 수치 벡터로 바꾸는 표현 방식입니다. EarlyEval은 태스크 설명, 행동 기록, 환경 피드백을 별도 블록으로 벡터화한 뒤 Truncated SVD로 차원을 줄입니다.

EarlyEval: 에이전트 평가를 조기에 끝내는 결과 예측

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

코딩 에이전트의 정의와 성능 평가를 위한 벤치마크 연구 동향.

로컬 BM25F 기반 파일 랭커 성능 측정

DeepSWE 소프트웨어 엔지니어링 벤치마크

LLM 에이전트 모델 교체 평가의 재생 간극

과학 소프트웨어 수정을 평가하는 SWE-bench Science

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

코딩 에이전트의 정의와 성능 평가를 위한 벤치마크 연구 동향.

로컬 BM25F 기반 파일 랭커 성능 측정

DeepSWE 소프트웨어 엔지니어링 벤치마크

LLM 에이전트 모델 교체 평가의 재생 간극

과학 소프트웨어 수정을 평가하는 SWE-bench Science