AGENTLENS: SWE-Agent 평가의 Lucky Pass 문제를 밝히다

binary 패스 여부만으로는 행위의 질 차이를 드러내지 못한다. AGENTLENS는 프로세스 수준에서 트레이스의 품질을 평가해 모델 간 차이와 실패의 원인을 밝히고, 안전한 배포와 품질 높은 시演을 돕는 지렛대를 제공한다.

출발점: SWE-bench의 이진 패스 평가가 행위의 질을 충분히 반영하지 못한다는 한계가 있다. 예를 들어 같은 이슈를 해결하는 두 에이전트가 하나는 탐색을 최소화하고 효과적으로 patch를 적용하는 반면, 다른 하나는 반복적 재시도에 의존해 성공하는 경우에도 동일한 패스 레이블을 받는다. 이로 인해 데이터셋은 “무엇을” 해결했는지의 결과만 보여주고, “어떻게 해결했는지”의 프로세스 정보를 놓친다. 정의: AGENTLENS는 네 가지 신호로 구성된 프레임워크로, 구조적 매칭(Φstruct), 집합 커버리지(Φcov), 코히런스(Φcoh), 시간적 프로파일(Φtemp)을 조합해 0–100의 품질 점수를 산출한다. PTA 기반 참조 그래프를 사용해 같은 task의 여러 passing trajectories를 병합하고, 의도-단계 라벨링으로 Exploration, Implementation, Verification, Orchestration의 시퀀스를 구성한다. 이로써 동일한 패스라도 직접적이고 효율적인 해결과 불필요한 재시도, 탐색 중심의 해결을 구분할 수 있다. 결과적으로 1) 47개 작업의 1,815 트레이젝토리에 대해 10.7%의 Lucky Pass 존재를 확인하고, 2) eight 모델 백엔드에서 품질 기반 순위가 PR 순위와 다른 경향을 보이며, 3) 배포 안전성과 학습 데이터 선별에 프로세스 질이 중요한 지표가 됨을 보인다.

1. Raw logs를 상태 문자열로 변환하고, 4개 축에 대한 intent-stage labeling을 수행한다. 2) 다른 passing trajectory를 병합해 task-level PTA를 구성하고, 이 PTA를 바탕으로 새 트레이젝토리의 품질을 평가한다. 3) four signals를 통해 0–100 점수 f(τc, G)를 계산하고, 70 이상을 Ideal, 47–69를 Solid, 그 미만은 Lucky로 분류한다. 4) 실험은 pilot 세트에서 가중치를 결정하고, scaled evaluation-set에서 교차 검증 없이 PTA를 task별로 구성해 1,815 트레이젝토리의 품질을 평가한다. 5) Baseline으로 Trajectory 매칭, TF-IDF 정렬, Dense embedding 정렬을 비교한다.

주요 결과는 다음과 같다. (1) Passing trajectories는 1,136개 중 20.2%가 Ideal, 69.1%가 Solid, 10.7%가 Lucky로 분류되어, 성공 여부만으로는 품질 차이가 드러나지 않는다. (2) Lucky Pass는 5가지 재발 패턴으로 구성되며, C2 Brute-Force Convergence와 C3 Incomplete Implementation이 전체의 68.0%를 차지한다. (3) Combined score는 Passing과 Failing을 구분하는 유의미한 지표이며 AUROC 0.766, 정확도 0.720, KS p=0.0017으로 추정된다. (4) 모델 간 품질 점수 순위(QS Rank)은 Pass% PR Rank와 다르게 나타나, 8개 모델 전반에서 PR과 QS의 순위 차이가 존재한다. (5) Merge-count(k=5)에서 AUROC=0.777로 가장 우수하며, task-coverage는 31/41로 확대되나 survivorship 이슈를 야기하지 않는 범위에서의 개선으로 판단된다.

구조: AGENTLENS는 1) Raw logs를 상태로 매핑하는 도출 파이프라인, 2) 다수의 passing trajectory를 바탕으로 Task-level PTA를 구성하는 합성 단계, 3) candidate trajectory를 PTA에 매핑해 네 가지 신호로 점수를 산출하는 평가 파이프라인으로 구성된다. 수학적 기초: Structural alignment(Φstruct)은 PTA 경로의 순서를 정렬된 재현과 비정렬의 정밀도를 결합해 F1을 산출하며, Set coverage(Φcov)는 PTA의 상태 전체 중 매칭된 비율을 계산한다. Coherence(Φcoh)는 의도-단계 시퀀스의 forward-progress 비율과 blind-retry 패널티를 합성하는 공식으로 정의된다. Temporal profile divergence(Φtemp)는 Early/Middle/Late의 세 구간에서의 단계 분포를 Jensen-Shannon divergence로 PTA와 비교한다. 결합 점수: f(τc,G)=0.20Φstruct+0.15Φcov+0.30(100Φcoh)+0.35(100Φtemp). 차별점: PTA 기반의 다중 경로 참조 그래프, Trajectory-history-aware intent labeling, 도메인-특정 PTA를 통한 분기점 위치화, 그리고 waste 분석을 통한 효율성 진단은 기존의 단일 참조 경로 기반 평가와 구별된다. 구현/학습: 파이프라인은 CPU에서 수행되며, ATIF 포맷과 OpenHands 로그에 대한 어댑터를 통해 범용화 가능하다. 한 pilot에서의 ablation은 각 신호의 기여도와 merge-count, merge-order의 민감도를 분석한다. 기존 연구 대비 차별점: ① 다중-참조 PTA를 통한 공간적 유연성, ② 의도-단계 라벨링의 맥락적 판단, ③ 구조적+행동적 신호의 가중 결합을 통한 해석 가능성, ④ 비생성형(비LLM) 파이프라인으로 재현 가능성 확보.

본 분석은 OpenHands 스타일의 SWE-벤치와 제한된 task 구성에 한정되며, trace 포맷 어댑터가 필요한 경우가 있다. 또한 스케일링에 따른 PTA의 크기 증가와 Survivorship bias의 가능성을 주의해야 한다.