Pace: 에이전트 능력 평가를 위한 프록시

왜 중요한가

에이전트형 평가(agentic benchmarks)는 환경 상호작용과 장기 롤아웃을 요구하여 실행 비용과 시간이 매우 크게 증가한다. 이 논문은 비교적 저렴한 non-agentic 인스턴스들만으로 에이전트 평가 점수를 신뢰성 있게 추정할 수 있는지 검증했다. 비용을 수십배에서 수백배 줄이면서도 모델 순위와 점수 예측을 유지할 방법을 제공하므로 연구·개발 주기를 가속화할 수 있다.

핵심 기여

프록시 평가 프레임워크 Pace 도입

Pace는 비대응(non-agentic) 소스 인스턴스 풀에서 예측력이 높은 소규모 서브셋을 선택해 에이전트형 목표 점수를 추정하는 프레임워크이다. 선택된 인스턴스들의 모델별 점수를 입력으로 선형 회귀를 학습하여 목표 벤치마크 평균을 예측하고, 순위 예측을 위해 쌍별 로지스틱 회귀를 병행한다. 전체 절차는 선택과 회귀를 분리한 설계로 과적합을 줄이고 계산 비용을 낮춘다.

Local과 Global의 보완적 인스턴스 선정 전략

Local 선정은 각 인스턴스와 목표 평균 간 Spearman 상관도를 기준으로 타깃 관련성이 높은 항목을 고른다. Global 선정은 SVD 기반의 leverage 점수로 전역 잠재 구조에서 정보량이 큰 인스턴스를 찾고, 여기에 타깃 관련성을 곱해 우선순위를 매긴다. 이 두 전략을 예측 단계에서 앙상블하고 예산을 CL/CG로 분할하여 서로의 약점을 상호 보완한다.

노이즈-강건한 회귀를 위한 부트스트랩 기반 학습

목표 agentic 벤치마크의 제한된 인스턴스 수로 인해 모델 평균이 샘플링 노이즈를 포함하므로 Pace는 목표 평균을 부트스트랩 재표본으로 확장하여 회귀 학습에 사용한다. 이로써 회귀 가중치가 단일 표본의 잡음에 과도하게 민감해지는 것을 완화하고 일반화 성능을 개선했다. 성능 예측에는 선형 최소제곱 회귀를, 쌍별 선호 예측에는 구조화된 Bradley-Terry 형태의 로지스틱 회귀를 적용했다.

광범위한 실험으로 비용 대비 성능 확인

14개 모델, 4개 agentic 목표, 19개 non-agentic 소스에서 평가한 Pace-Bench는 엄격한 LOOCV에서 평균 MAE 3.80%, 평균 Spearman 0.81, 쌍별 정확도 약 84.4%를 달성했다. 같은 예측 품질을 얻는 데 필요한 비용은 랜덤 타깃 샘플링 대비 대략 1/100 수준으로 보고되었다. 부트스트랩을 제거한 경우 평균 MAE가 0.77% 악화되고 Spearman이 0.15 낮아져 부트스트랩의 효과가 확인되었다.

핵심 아이디어 이해하기

에이전트형 작업은 종종 여러 능력의 조합을 요구하고 실행 환경 설정과 상호작용 때문에 전체 평가 비용이 크게 증가한다. 반면 non-agentic 벤치마크는 단일 인스턴스 호출로 모델의 개별 능력을 빠르고 저렴하게 측정할 수 있다. 이러한 겹치는 능력 정보를 이용하면 적절히 선별된 소수의 non-agentic 인스턴스가 에이전트 성능의 대표 신호가 될 수 있다는 전제가 출발점이다. Pace는 각 모델에 대해 소스 인스턴스 점수 행렬 X와 목표 agentic 평균 ȳ를 사용해 예측 문제로 환원시킨다. 작은 예산 C로 소수의 인스턴스 집합 P를 선택하고, 모델의 P 인스턴스 점수 x_m을 선형 회귀에 입력해 ȳ_m을 예측한다. 이 방식은 단일 모델 호출로 계산되는 소규모 점수들이 에이전트 동작의 복합적 성능을 통계적으로 대리할 수 있음을 활용한다. 인스턴스 선택은 두 축으로 이루어진다. 로컬 신호는 각 인스턴스 점수 순위와 목표 평균 간의 Spearman 상관도로 타깃 관련성을 측정한다. 전역 신호는 X의 SVD에서 얻은 오른쪽 특이벡터를 통해 각 인스턴스의 leverage를 계산하여 전역 잠재 구조에서 정보량이 큰 열을 식별한다. 이 두 신호를 결합하면 타깃 특화성과 전역 대표성을 동시에 확보할 수 있다. 최종 예측에서는 Local과 Global로 선별된 두 하위집합 각각에 대해 별도 임베딩과 회귀를 학습한 다음 가중치 λ로 앙상블한다. 또한 목표 평균의 표본 노이즈를 완화하기 위해 target 인스턴스에 대한 부트스트랩 재표본을 만들어 회귀 학습에 포함시켰다. 이 설계는 보정된 회귀 계수와 견고한 일반화를 가능하게 하며 새 모델에 대한 LOOCV 실험에서 좋은 성능을 보였다.

방법론

문제는 모델 집합 M과 목표 agentic 벤치마크 T, 그리고 여러 non-agentic 출처 S들로부터 얻은 인스턴스 점수 행렬들을 다루는 것이다. 모든 소스 인스턴스를 열로 합쳐 하나의 소스 행렬 X를 구성하고 목표 행렬 Y의 모델별 평균 ȳ_m을 예측 목표로 삼는다. 제한된 예산 C로 선택할 P를 구성하여 각 모델의 x_m(선택된 C개 점수)을 회귀 입력으로 쓰는 것이 전체 파이프라인의 골격이다. 성능 예측(Goal A)에는 선형 최소제곱 회귀 f(x_m)=w^T x_m를 사용하고, 쌍별 모델 우위 예측(Goal B)에는 두 모델의 점수 차 Δx를 입력으로 하는 로지스틱 회귀 g(Δx)=w_g^T Δx를 적용했다. 학습 시 목표 평균의 샘플링 노이즈를 반영하기 위해 목표 인스턴스에서 B번 부트스트랩하여 ȳ_m^{(b)}들을 생성하고 이들로 회귀를 학습해 가중치의 분산을 줄였다. 인스턴스 선택은 분리된 두 필터로 구현되었다. 먼저 X에 대해 thin SVD X=UΣV^T을 계산하고 오른쪽 특이벡터 행렬 V로부터 각 인스턴스의 leverage h_i를 구한다. 타깃 관련성은 Spearman(X_{M_train,i}, ȳ_{M_train})의 절댓값 abs(ρ_i)로 계산한다. Global은 σ_i=h_i×abs(ρ_i)로 상위 C_G를 선택하고 Local은 abs(ρ_i)로 상위 C_L를 선택한 뒤 중복을 제거하면서 예산 C에 맞춰 보완적으로 확장한다. 선택 후에는 각 하위집합에 대해 별도의 SVD 기반 임베딩을 계산하고 검증에 사용하지 않은 held-out 모델을 해당 임베딩 공간으로 투영하기 위해 V^{+}(유사역원)을 사용한다. 하이퍼파라미터인 C_L,C_G,λ 등은 검증 데이터에서 최적화되며 정규화 및 부트스트랩 절차를 통해 과적합을 제어한다.

주요 결과

메인 결과는 엄격한 LOOCV에서 보고되었고, C=100일 때 평균 MAE 3.80%, 평균 Spearman 0.807(논문 표기 0.81), 평균 쌍별 정확도 약 84.37%를 얻었다. 이 값들은 소수의 non-agentic 인스턴스로도 에이전트형 평가 성능의 절대값 및 순위를 상당히 정확히 재현할 수 있음을 보인다. 전체 실험은 14개 모델과 4개 agentic 목표에서 수행되어 일반화 가능성을 평가했다. 각 벤치마크별 성능은 다음과 같다. GAIA에서는 MAE 5.77%, Spearman 0.79, 쌍별 정확도 83.33%를 기록했고, SWE-Bench Verified에서는 MAE 2.09%, Spearman 0.67, 정확도 78.54%를 보였다. SWE-Bench Multimodal에서는 MAE 2.23%, Spearman 0.89, 정확도 85.39%였고, SWT-Bench에서는 MAE 5.12%, Spearman 0.89, 정확도 90.11%였다. 비용 대비 이득 분석에서 Pace는 무작위 타깃 샘플링 대비 동일 수준의 예측 품질을 달성하는 데 드는 비용이 약 1/100에 불과한 것으로 보고되었다. 예산 C를 25에서 500까지 변화시키는 예산 탐색에서 품질은 예산 증가에 따라 완만히 개선되다가 수백개를 넘기면 포화되는 특성을 보였고, C=100이 실무상 적절한 절충점으로 제시되었다. 부트스트랩 제거 실험에서는 평균 MAE가 4.57%로 악화되어(차이 +0.77%) 부트스트랩이 MAE와 Spearman(차이 +0.15)에 실질적 이득을 준 것으로 나타났다.

기술 상세

전체 아키텍처는 모델-인스턴스 점수 행렬 X ∈ [0,1]^{|M|×|ℐ|}와 목표 인스턴스 행렬 Y의 모델별 평균 ȳ를 연결하는 예측 파이프라인으로 구성된다. 후보 소스 인스턴스 ℐ는 19개 non-agentic 벤치마크에서 수집되며, 각 인스턴스는 모델별로 0~1 범위의 점수로 정규화되어 하나의 큰 열 집합으로 스택된다. 예산 C는 선택될 프록시 인스턴스의 총수로 취급되며, 이들만 새 모델에 대해 평가하면 목표 예측을 실행한다. 핵심 메커니즘은 두 신호의 결합에 있다. 먼저 X에 대한 thin SVD X=UΣV^T를 계산해 오른쪽 특이벡터 V로부터 각 인스턴스의 leverage h_i=∑c V{c,i}^2를 얻는다. 이어 타깃 관련성 ρ_i는 학습 모델 집합에서 각 인스턴스 점수와 목표 평균 간의 Spearman 상관도로 계산한다. Global은 σ_i=h_i×|ρ_i| 상위 C_G를 선택하고 Local은 |ρ_i| 상위 C_L를 선택한 뒤 중복을 제거하며 예산을 채운다. 회귀는 Goal A의 경우 선형 최소제곱 f(x)=w^T x를 사용하고 Goal B의 경우 쌍별 차이를 입력으로 하는 로지스틱 회귀 g(Δx)=w_g^T Δx를 사용한다. 목표 평균의 불확실성을 반영하기 위해 목표 인스턴스에서 B번 부트스트랩해 ȳ^{(b)}를 생성하고 이들 레코드를 회귀 학습에 포함시켜 가중치 추정의 안정성을 높인다. 정규화 하이퍼파라미터와 CL/CG 분할, 앙상블 가중치 λ는 검증 루프에서 최적화된다. held-out 모델을 처리하기 위해 선택된 서브셋의 SVD 기반 기저를 재계산하거나 전역 V로부터 pseudoinverse V^{+}를 사용하여 새로운 모델의 점수 행을 동일한 잠재공간으로 투영한다. 이렇게 얻은 임베딩을 회귀 입력으로 사용하면 선택-회귀 분리 설계가 유지되면서도 새 모델에 대한 일관된 예측이 가능하다.

한계점

논문이 명시한 주요 한계는 보정(calibration)에 사용된 모델 분포와 실제 배포되는 새 모델 분포 간의 불일치이다. 보정 집합이 미래 모델들의 특성을 충분히 대표하지 않으면 프록시 오류가 증가하여 예측 신뢰도가 떨어질 수 있다. 따라서 실무에서는 보정 모델을 주기적으로 갱신하고 분포 이동을 모니터링해야 하며, 극단적으로 다른 아키텍처나 훈련 패러다임이 나타난 경우 전체 agentic 평가를 다시 수행할 필요가 있다.

실무 활용

Pace는 모델 개발과 선택 과정에서 전체 에이전트형 평가를 수행하기 전에 비용이 적게 드는 사전 스크리닝을 가능하게 한다. 소규모 non-agentic 인스턴스만으로 모델 순위를 얻어 하이리스크·고비용 평가를 걸러내거나 체크포인트 모니터링을 빈번하게 수행할 수 있다. 이러한 사용은 하드웨어 및 API 비용을 크게 낮추면서도 개발 주기에서 더 촘촘한 피드백을 제공한다.

후보 모델들을 전체 에이전트 평가 전에 저비용으로 랭킹하여 상위 모델에만 풀 하니스 평가를 수행하는 비용 게이트로 활용한다.
훈련 중간 체크포인트나 하이퍼파라미터 탐색에서 빈번한 성능 추적을 위해 소규모 프록시 벤치마크를 적용한다.
모델 라우팅이나 배치 결정에서 경량화된 성능 예측을 사용하여 실서비스에서 효율적 모델 선택을 지원한다

코드 공개 여부: 미확인

키워드

LLM(대형 언어 모델)Pace(프록시 평가)agentic-benchmarks(에이전트 벤치마크)LOOCV(leave-one-out 교차검증)MAE(평균 절대 오차)SVD(특이값 분해)

용어 해설

SVD 레버리지(SVD Leverage): — 특이값분해(SVD)의 오른쪽 특이벡터 행렬 V의 각 열 성분 제곱합으로 계산되는 점수로서, 전체 데이터 행렬에서 특정 열(인스턴스)이 차지하는 기하학적 중요도를 수치화한다. 이 값이 크면 해당 인스턴스가 소스 풀의 잠재 공간을 잘 대표하므로 전역적 구조를 보존하는 선택 기준으로 활용된다. Pace에서는 전역 정보의 우선순위를 제공하는 지표로 사용되어 target-agnostic한 정보 풍부 인스턴스를 식별했다.
타깃 관련성(Target Relevance): — 각 소스 인스턴스의 점수 순위와 목표(agentic) 벤치마크의 모델 평균 점수 사이의 Spearman 상관도의 절댓값으로 측정되는 값이다. 높은 값은 특정 인스턴스의 모델별 순위가 목표 점수의 순서와 일관됨을 의미하므로 타깃 예측에 직접적인 신호로 쓰인다. Pace는 이 신호를 로컬 선정 기준으로 사용하여 타깃 특화된 인스턴스를 골랐다.
프록시 벤치마크(Proxy Benchmark): — 비용이나 시간 면에서 높은 부담을 주는 목표(agentic) 벤치마크의 전체 평가를 대체하기 위해 선별된 소수의 비대응(non-agentic) 인스턴스 집합으로 구성된 벤치마크이다. 프록시 벤치는 선별된 인스턴스들에 대한 모델 점수의 가중 조합으로 목표 점수를 추정하며, 저비용으로 모델 비교와 라우팅 결정을 가능하게 한다. Pace-Bench는 이러한 프록시 벤치마크의 구체적 구현체이다.
LOOCV(leave-one-out 교차검증)(Leave-One-Out Cross-Validation): — 모델 집합에서 하나의 모델을 검증 대상으로 떼어놓고 나머지 모델들로 선택 및 예측기를 학습한 뒤, 떼어놓은 모델에 대해 예측을 수행하는 과정을 모든 모델에 대해 반복하는 검증 방식이다. 이 방식은 새로운 모델에 대한 일반화 능력을 엄격하게 측정하는데 적합하며, Pace는 LOOCV를 통해 미지의 모델 일반화 성능을 평가했다. LOOCV는 특히 모델 수가 제한된 실험에서 편향을 줄이려는 목적에 적합하다.
부트스트랩 재표본추출(Bootstrap Resampling): — 목표 벤치마크의 제한된 인스턴스 표본으로부터 여러 재표본을 복원추출하여 모델 평균 점수의 샘플링 분포를 근사하는 기법이다. 이 재표본들을 회귀 학습에 포함하면 목표 평균의 샘플링 노이즈에 대한 민감성이 줄어들고 회귀 계수가 과적합되는 위험이 완화된다. Pace에서는 bootstrap을 통해 목표값의 불확실성을 반영한 노이즈-강건 회귀를 구성했다.

Pace: 에이전트 능력 평가를 위한 프록시

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드