성능 최적화 벤치마크가 코딩 에이전트를 신뢰성 있게 측정하는가?

코딩 에이전트의 성능 개선 주장은 repository-level 성능 벤치마크의 리더보드 점수에 의존하는 경우가 많다. 이러한 벤치마크가 하드웨어 변화와 집계 규칙에 얼마나 민감한지 확인하면 리더보드 해석과 향후 벤치 설계 방향이 달라진다. 본 논문은 레퍼런스 패치의 기계별 일관성, 점수 집계 규칙의 순위 영향, 공개 제출물들이 얼마나 레퍼런스 수준에 근접하는지를 실증적으로 규명했다.

성능 최적화 벤치마크는 정답 판정이 아닌 노이즈가 섞인 런타임 측정을 기반으로 점수를 매긴다. 동일한 레퍼런스 패치도 CPU 스케줄링, 캐시 상태, 메모리 대역폭 경쟁, 마이크로아키텍처 차이로 인해 기계별로 다른 런타임 변화를 보일 수 있다. 따라서 레퍼런스의 '유효성'은 단일 기계에서의 성공 여부가 아니라 서로 다른 기계와 반복 라운드에서 일관되게 기준을 만족하는지로 정의되어야 한다.

벤치마크 점수는 과제별 결과를 단일 수치로 압축하는 방식에 따라 순위 해석이 크게 달라진다. 이 논문은 GSO의 이진 참/거짓 문턱과 SWE-fficiency의 SpeedUp Ratio 기반 조화평균이 서로 다른 순위를 만들어낸다는 점을 보였다. 조화평균은 작은 SR 값들에 큰 영향력을 부여하므로 몇 개의 나쁜 과제가 전체 점수를 좌우할 수 있다.

다양한 공개 제출물을 한 과제에 모아 보면 대부분 과제는 적어도 하나의 제출물이 베이스보다 빠르고 테스트를 통과한다는 사실이 드러난다. 남은 성능 격차는 종종 전략 자체의 부재가 아니라 최적화의 적용 깊이와 구현의 세부 조정 부족에서 기인한다. 따라서 리더보드 하나만으로 에이전트 역량을 단정하는 것은 위험하다.

연구 대상은 repository-level 성능 최적화 벤치마크 GSO, SWE-Perf, SWE-fficiency로 한정됐다. 각 벤치마크의 공식 레퍼런스 패치와 워크로드를 재사용해 네 가지 Google Cloud 기계 프로필(n2/n2d/n4/n4d, 동일 자원 구성)에서 세 라운드씩 총 12회 재실행을 수행했다. 재실행 결과는 두 가지 기준으로 평가됐다: 레퍼런스가 항상 베이스보다 빠른지 여부(faster-than-base)와 벤치마크의 원래 유효성 규칙을 모두 만족하는지 여부(original-rule valid).

점수 민감도 분석을 위해 GSO와 SWE-fficiency에 공개된 제출물 집합을 사용했다. 동일한 과제 출력을 다른 집계 규칙으로 재계산하면서 Spearman 상관과 head-to-head 비교를 통해 순위 변화를 정량화했다. 또한 SWE-fficiency의 조화평균이 꼬리 과제에 부여하는 가중치를 측정하기 위해 각 과제가 최종 분모에서 차지하는 비중을 계산하고 최악 1/5/10 과제의 누적 가중치를 보고했다.

과제 커버리지 분석에서는 각 replay-valid 과제에 대해 공개된 최대 10개 제출물의 결과를 집계해 '최소 하나의 제출물이 레퍼런스 이상인지', '베이스보다 빠른 패치를 가진 과제 수' 등을 집계했다. 추가로 레퍼런스와 공개-best 패치의 고수준 최적화 범주(Algorithm, Structure, Memory 등)를 비교해 전략 정합성과 속도 격차의 관계를 평가했다.

레퍼런스 재실행 결과는 벤치마크별로 큰 차이를 보였다. 740개의 공식 레퍼런스 패치를 네 기계에서 재실행한 결과 GSO는 102개 중 39개, SWE-Perf는 140개 중 11개, SWE-fficiency는 498개 중 411개만이 모든 재실행에서 원래 유효성 규칙을 만족했다. SWE-Perf의 경우 레퍼런스 신호가 거의 0에 근접하는 과제가 많아 작은 타이밍 변동만으로도 통계적 유의성이 소실됐다.

점수 집계 민감도에서 GSO와 SWE-fficiency의 공개 제출물 8개를 비교한 결과 두 공식 리더보드는 28개 쌍 중 9개 쌍에서 순서가 상충했다. SWE-fficiency의 조화평균은 최악 10개 과제에 전체 분모의 58.5%–82.8%의 가중치를 부여하는 경우가 관찰됐다. 페널티 상한을 도입해 조화평균의 최저값을 완화하자 6/8 제출물의 순위가 이동했다.

공개 제출물 10개를 모아본 과제 커버리지에서는 450개의 replay-valid GSO·SWE-fficiency 과제 중 384과제에서 최소 하나의 제출물이 레퍼런스를 매치하거나 앞섰고 모든 과제에 최소 하나의 통과 패치가 존재했다. 남은 66개 과제는 대부분 베이스보다 빠른 공개 패치를 이미 보유하고 있었으며 공개-best 패치의 중앙값은 레퍼런스 속도의 약 85–88% 수준이었다.

실험 인프라는 Google Cloud의 네 가지 기계 프로파일을 사용해 CPU 벤더와 세대 차이를 고의로 노출시켰다. 각 기계에서 동일한 자원(64 vCPU, 256GB 메모리)을 할당하고 각 과제에 대해 세 번의 독립 라운드를 실행해 총 12개의 측정치를 수집했다. 벤치마크별 원본 워크로드·검증 규칙을 일체 변경하지 않고 그대로 재적용해 '원래 규칙에 따라 유효한지'를 판단했다.

SWE-fficiency의 점수 집계는 제출 패치의 speedup을 레퍼런스 speedup으로 나눈 SpeedUp Ratio(SR)를 사용하고 조화평균(HM)으로 통합한다. HM은 각 과제의 역수 합을 분모로 하므로 극단적으로 작은 SR이 큰 페널티로 작동한다. 이를 정량화하기 위해 각 과제의 분모 기여 비중을 계산하고 최악 k개 과제의 누적 기여도를 보고했다.

레퍼런스-vs-public 전략 비교는 Peng 등 분류법의 고수준 최적화 카테고리를 사용해 자동 라벨링을 수행한 뒤 수동 검토로 검증했다. 카테고리 일치 여부와 best-public 대비 레퍼런스 속도 비율을 비교해 전략 차이가 속도 격차를 설명하는 정도를 평가했다.

재실행과 재계산은 특정 시점(데이터 수집 마감일: 2026-04-30)의 공개 아티팩트와 클라우드 기계 가용성에 의존한다는 한계가 있다. 본 연구의 보수적 '모든 라운드에서 유효' 판정은 실제 사용 사례에서 일부 재현 가능한 과제를 과도하게 배제할 가능성이 있다. SWE-Perf의 공개 제출물 부재로 인해 해당 벤치마크는 점수 민감도와 과제 커버리지 분석에서 제외되었다.

점수 민감도 실험에서 제시한 페널티 상한(floor) 값은 진단적 예시이며 최적의 상한을 보장하지 않는다. 또한 공개 제출물은 특정 agent 스택(OpenHands 기반)과 시점의 모델 조합에 한정되어 있어 향후 모델·에이전트 발전에 따른 결과 변화 가능성이 존재한다. 마지막으로 라벨링된 고수준 최적화 카테고리는 자동화 도구와 일부 수동 검토에 의존하므로 분류 오류 가능성이 남아 있다.