Pace: 에이전트 능력 평가를 위한 프록시

에이전트형 평가(agentic benchmarks)는 환경 상호작용과 장기 롤아웃을 요구하여 실행 비용과 시간이 매우 크게 증가한다. 이 논문은 비교적 저렴한 non-agentic 인스턴스들만으로 에이전트 평가 점수를 신뢰성 있게 추정할 수 있는지 검증했다. 비용을 수십배에서 수백배 줄이면서도 모델 순위와 점수 예측을 유지할 방법을 제공하므로 연구·개발 주기를 가속화할 수 있다.

에이전트형 작업은 종종 여러 능력의 조합을 요구하고 실행 환경 설정과 상호작용 때문에 전체 평가 비용이 크게 증가한다. 반면 non-agentic 벤치마크는 단일 인스턴스 호출로 모델의 개별 능력을 빠르고 저렴하게 측정할 수 있다. 이러한 겹치는 능력 정보를 이용하면 적절히 선별된 소수의 non-agentic 인스턴스가 에이전트 성능의 대표 신호가 될 수 있다는 전제가 출발점이다. Pace는 각 모델에 대해 소스 인스턴스 점수 행렬 X와 목표 agentic 평균 ȳ를 사용해 예측 문제로 환원시킨다. 작은 예산 C로 소수의 인스턴스 집합 P를 선택하고, 모델의 P 인스턴스 점수 x_m을 선형 회귀에 입력해 ȳ_m을 예측한다. 이 방식은 단일 모델 호출로 계산되는 소규모 점수들이 에이전트 동작의 복합적 성능을 통계적으로 대리할 수 있음을 활용한다. 인스턴스 선택은 두 축으로 이루어진다. 로컬 신호는 각 인스턴스 점수 순위와 목표 평균 간의 Spearman 상관도로 타깃 관련성을 측정한다. 전역 신호는 X의 SVD에서 얻은 오른쪽 특이벡터를 통해 각 인스턴스의 leverage를 계산하여 전역 잠재 구조에서 정보량이 큰 열을 식별한다. 이 두 신호를 결합하면 타깃 특화성과 전역 대표성을 동시에 확보할 수 있다. 최종 예측에서는 Local과 Global로 선별된 두 하위집합 각각에 대해 별도 임베딩과 회귀를 학습한 다음 가중치 λ로 앙상블한다. 또한 목표 평균의 표본 노이즈를 완화하기 위해 target 인스턴스에 대한 부트스트랩 재표본을 만들어 회귀 학습에 포함시켰다. 이 설계는 보정된 회귀 계수와 견고한 일반화를 가능하게 하며 새 모델에 대한 LOOCV 실험에서 좋은 성능을 보였다.

문제는 모델 집합 M과 목표 agentic 벤치마크 T, 그리고 여러 non-agentic 출처 S들로부터 얻은 인스턴스 점수 행렬들을 다루는 것이다. 모든 소스 인스턴스를 열로 합쳐 하나의 소스 행렬 X를 구성하고 목표 행렬 Y의 모델별 평균 ȳ_m을 예측 목표로 삼는다. 제한된 예산 C로 선택할 P를 구성하여 각 모델의 x_m(선택된 C개 점수)을 회귀 입력으로 쓰는 것이 전체 파이프라인의 골격이다. 성능 예측(Goal A)에는 선형 최소제곱 회귀 f(x_m)=w^T x_m를 사용하고, 쌍별 모델 우위 예측(Goal B)에는 두 모델의 점수 차 Δx를 입력으로 하는 로지스틱 회귀 g(Δx)=w_g^T Δx를 적용했다. 학습 시 목표 평균의 샘플링 노이즈를 반영하기 위해 목표 인스턴스에서 B번 부트스트랩하여 ȳ_m^{(b)}들을 생성하고 이들로 회귀를 학습해 가중치의 분산을 줄였다. 인스턴스 선택은 분리된 두 필터로 구현되었다. 먼저 X에 대해 thin SVD X=UΣV^T을 계산하고 오른쪽 특이벡터 행렬 V로부터 각 인스턴스의 leverage h_i를 구한다. 타깃 관련성은 Spearman(X_{M_train,i}, ȳ_{M_train})의 절댓값 abs(ρ_i)로 계산한다. Global은 σ_i=h_i×abs(ρ_i)로 상위 C_G를 선택하고 Local은 abs(ρ_i)로 상위 C_L를 선택한 뒤 중복을 제거하면서 예산 C에 맞춰 보완적으로 확장한다. 선택 후에는 각 하위집합에 대해 별도의 SVD 기반 임베딩을 계산하고 검증에 사용하지 않은 held-out 모델을 해당 임베딩 공간으로 투영하기 위해 V^{+}(유사역원)을 사용한다. 하이퍼파라미터인 C_L,C_G,λ 등은 검증 데이터에서 최적화되며 정규화 및 부트스트랩 절차를 통해 과적합을 제어한다.

메인 결과는 엄격한 LOOCV에서 보고되었고, C=100일 때 평균 MAE 3.80%, 평균 Spearman 0.807(논문 표기 0.81), 평균 쌍별 정확도 약 84.37%를 얻었다. 이 값들은 소수의 non-agentic 인스턴스로도 에이전트형 평가 성능의 절대값 및 순위를 상당히 정확히 재현할 수 있음을 보인다. 전체 실험은 14개 모델과 4개 agentic 목표에서 수행되어 일반화 가능성을 평가했다. 각 벤치마크별 성능은 다음과 같다. GAIA에서는 MAE 5.77%, Spearman 0.79, 쌍별 정확도 83.33%를 기록했고, SWE-Bench Verified에서는 MAE 2.09%, Spearman 0.67, 정확도 78.54%를 보였다. SWE-Bench Multimodal에서는 MAE 2.23%, Spearman 0.89, 정확도 85.39%였고, SWT-Bench에서는 MAE 5.12%, Spearman 0.89, 정확도 90.11%였다. 비용 대비 이득 분석에서 Pace는 무작위 타깃 샘플링 대비 동일 수준의 예측 품질을 달성하는 데 드는 비용이 약 1/100에 불과한 것으로 보고되었다. 예산 C를 25에서 500까지 변화시키는 예산 탐색에서 품질은 예산 증가에 따라 완만히 개선되다가 수백개를 넘기면 포화되는 특성을 보였고, C=100이 실무상 적절한 절충점으로 제시되었다. 부트스트랩 제거 실험에서는 평균 MAE가 4.57%로 악화되어(차이 +0.77%) 부트스트랩이 MAE와 Spearman(차이 +0.15)에 실질적 이득을 준 것으로 나타났다.

전체 아키텍처는 모델-인스턴스 점수 행렬 X ∈ [0,1]^{|M|×|ℐ|}와 목표 인스턴스 행렬 Y의 모델별 평균 ȳ를 연결하는 예측 파이프라인으로 구성된다. 후보 소스 인스턴스 ℐ는 19개 non-agentic 벤치마크에서 수집되며, 각 인스턴스는 모델별로 0~1 범위의 점수로 정규화되어 하나의 큰 열 집합으로 스택된다. 예산 C는 선택될 프록시 인스턴스의 총수로 취급되며, 이들만 새 모델에 대해 평가하면 목표 예측을 실행한다. 핵심 메커니즘은 두 신호의 결합에 있다. 먼저 X에 대한 thin SVD X=UΣV^T를 계산해 오른쪽 특이벡터 V로부터 각 인스턴스의 leverage h_i=∑c V{c,i}^2를 얻는다. 이어 타깃 관련성 ρ_i는 학습 모델 집합에서 각 인스턴스 점수와 목표 평균 간의 Spearman 상관도로 계산한다. Global은 σ_i=h_i×|ρ_i| 상위 C_G를 선택하고 Local은 |ρ_i| 상위 C_L를 선택한 뒤 중복을 제거하며 예산을 채운다. 회귀는 Goal A의 경우 선형 최소제곱 f(x)=w^T x를 사용하고 Goal B의 경우 쌍별 차이를 입력으로 하는 로지스틱 회귀 g(Δx)=w_g^T Δx를 사용한다. 목표 평균의 불확실성을 반영하기 위해 목표 인스턴스에서 B번 부트스트랩해 ȳ^{(b)}를 생성하고 이들 레코드를 회귀 학습에 포함시켜 가중치 추정의 안정성을 높인다. 정규화 하이퍼파라미터와 CL/CG 분할, 앙상블 가중치 λ는 검증 루프에서 최적화된다. held-out 모델을 처리하기 위해 선택된 서브셋의 SVD 기반 기저를 재계산하거나 전역 V로부터 pseudoinverse V^{+}를 사용하여 새로운 모델의 점수 행을 동일한 잠재공간으로 투영한다. 이렇게 얻은 임베딩을 회귀 입력으로 사용하면 선택-회귀 분리 설계가 유지되면서도 새 모델에 대한 일관된 예측이 가능하다.

논문이 명시한 주요 한계는 보정(calibration)에 사용된 모델 분포와 실제 배포되는 새 모델 분포 간의 불일치이다. 보정 집합이 미래 모델들의 특성을 충분히 대표하지 않으면 프록시 오류가 증가하여 예측 신뢰도가 떨어질 수 있다. 따라서 실무에서는 보정 모델을 주기적으로 갱신하고 분포 이동을 모니터링해야 하며, 극단적으로 다른 아키텍처나 훈련 패러다임이 나타난 경우 전체 agentic 평가를 다시 수행할 필요가 있다.