에이전트 평가 자동화에 관한 실증 연구

에이전트 평가가 실행 흐름과 도구 사용까지 포함하는 복합적 행동을 다루게 되며, 단순 최종 산출물만 보는 평가 방식으로는 실패 사례를 포착하기 어렵다. 프런티어 코딩 어시스턴트의 기본 코드 생성만으로는 평가 기준을 자동으로 만들어내지 못하는 한계가 있었고, 본 연구는 EvalAgent가 평가 도메인 지식(평가 스킬)을 내재화하고, trace 기반 파이프라인으로 실행 가능한 평가 산출물을 생성함을 입증한다. 또한 메타-평가 프레임워크와 AgentEvalBench를 통해 자동 평가의 신뢰성과 재현성을 정량적으로 평가한다.

출발점과 한계: 일반 코드 생성 에이전트는 평가 설계에 필요한 도메인 지식이 부족해, 평가에 필요한 지표를 제멋대로 생성하거나 코드가 과도하게 길어지고, 계획과 구현 간의 불일치가 발생한다. 해결 원리: EvalAgent는 평가 지식을 3대 카테고리의 평가 스킬로 구성하고, 단계별로 필요 시점에 로드하여 파이프라인이 구체적이고 구현 가능한 평가 산출물을 만들도록 한다. 달라지는 점: 평가 스킬의 도입으로 metric proliferation과 plan-code drift를 억제하고, Trace 기반 수집과 Context7의 동적 API 문서 조회를 통해 실행 가능하고 의미 있는 평가를 보장한다.

평가 파이프라인은 6단계로 구성된다. (1) Evaluation Planning: 에이전트 사양, 집중 지표, 테스트 시나리오를 구조화된 계획으로 작성한다. (2) Test Case Generation: JSONL 형식의 테스트 케이스를 생성한다. (3) Agent Instrumentation: OTEL(OpenTelemetry) 기반 트레이싱을 에이전트에 주입한다. (4) Trace Collection: 테스트 케이스를 실행해 OTEL 호환 트레이스를 수집하고, 관련 스팬에서 필요한 필드를 추출한다. (5) Code Generation: 평가 계획을 바탕으로 실행 가능한 Python 코드를 생성하고, 지표 구현 및 평가 오케스트레이터를 구성한다. (6) Reporting: 실행 요약, 지표별 분석, 실패 원인 및 개선 권고를 보고서로 산출한다. EvalAgent의 세 가지 평가 스킬은 (i) Procedural Instructions, (ii) reusable templates/code, (iii) Context7으로 최신 API 문서 조회로 구성되고, 각 단계에서 필요한 콘텐츠만 로드한다. 메타-평가 프레임워크는 Thurstone의 비교 판단 원리와 5가지 차원(URF, MR, CQC, PQ, PCA)을 적용해 A/B 비교의 승패를 판단하고 가중합으로 최종 승자를 도출한다. AgentEvalBench는 20개 에이전트, 5개 시나리오, 2가지 요구사항으로 구성되어 전문가 평가에서 Fleiss’ κ=0.923을 기록했고, Human vs. Meta-evaluator 간 일치도도 높다.

주요 결과는 다음과 같다. EvalAgent는 Baselines 대비 84–100%의 전체 win-tie 비율을 달성했고, Eval@1은 62.5%(Haiku 4.5)~65.0%(Sonnet 4.5)로 측정되었다. 인간 전문가의 선호도는 79.5%로 Baselines 대비 높은 선호를 얻었다. Context7 ablation에서 Sonnet의 Eval@1이 20.0%에서 65.0%로 45pp 증가하는 효과를 보였다. 5개의 차원 중 MR, URF에서 가장 높은 일치도와 차원이 비교적 주관적일 수 있는 PQ/PCA에서 낮은 일치도를 보였으며, Trace 기반 접근은 품질은 향상시키나 실행 가능성은 감소시키는 trade-off를 보였다. 20개 에이전트의 전체 구성에서 EvalAgent의 경우 코드 규모가 Baseline보다 2.4–6.6× 작았으며, dead-code 사례도 감소했다. Context7의 최신 API 문서 조회는 실행 가능성을 크게 향상시켰다(45pp 증가).

EvalAgent는 6단계 파이프라인으로 작동한다. 1) Evaluation Planning에서 agent 사양, 목표 지표, 테스트 시나리오를 정리한다. 2) Test Case Generation에서 JSONL 포맷의 테스트 케이스를 생성한다. 3) Agent Instrumentation에서 OpenTelemetry를 이용해 트레이싱을 추가한다. 4) Trace Collection에서 OTEL JSONL 트레이스를 수집하고, 스팬에서 operation names, inputs/outputs, tool metadata, 타이밍 정보를 추출한다. 5) Evaluation Code Generation에서 지표 구현, 오케스트레이터, 의존성 목록 등을 생성하는 실행 가능한 Python 코드를 작성한다. 6) Reporting에서 실행 요약, 지표 분석, 실패 원인 및 개선 권고를 포함한 보고서를 산출한다. 평가 스킬은 (i) Macro-플랜/마이크로 컴포넌트의 워크플로우, (ii) 재사용 가능한 코드 템플릿, (iii) Context7을 통한 최신 API 문서 조회를 포함한다. 학습/구현의 구체적 요소로는 OTEL 트레이스 파서 패턴, DeepEval 기반의 지표 통합, GEval과 같은 LLM-as-Judge 도구, 트레이스 처리기, 의존성 매니페스트, 보고서 템플릿 등이 있다. 메타-평가 프레임워크는 5차원 평가를 도입하며, 각 차원의 승패를 도출해 가중합으로 최종 승자를 결정한다. Context7의 도입은 DeepEval의 API 시그니처를 최신 상태로 반영하는 데 필수적이며, 예를 들어 Hilton Search 위치 매칭과 같은 사례에서 실행 가능성을 크게 높였다.

벤치마크는 20개의 에이전트에 한정되며 embodied/multimodal 에이전트 등 다양한 타입으로의 일반화가 필요하다. 실험은 Claude 계열 모델에 한정되어 cross-model 일반화에 추가 검증이 필요하다. 평가 실행 가능성은 62.5–65.0%로, 약 1/3의 자동 평가가 수동 디버깅 없이 완료되지 않는 현실을 반영한다. 메타-평가 자체는 주관적 판단에 의존하는 성격이 있으며, 차원별 일치도는 상황에 따라 달라질 수 있다.