에이전트 행동을 결정짓는 평가 설계: Deep Agents의 정확도 및 효율성 측정 가이드

섹션별 상세

평가는 에이전트의 행동을 형성하는 벡터 역할을 하므로 무분별한 테스트 추가보다 구체적인 동작을 측정하는 타겟팅된 평가 설계가 필수적이다. 시스템 프롬프트나 도구 설명을 수정할 때마다 평가는 에이전트가 올바른 방향으로 나아가도록 압력을 가한다. 단순히 벤치마크 점수를 높이는 것에 집중하면 실제 운영 환경에서 필요한 동작을 놓치는 오류를 범할 수 있다. 따라서 에이전트가 수행해야 할 핵심 동작을 정의하고 이를 검증할 수 있는 평가를 선별적으로 관리해야 한다.

평가 데이터는 실제 사용 사례(Dogfooding), 외부 벤치마크의 선별적 채택, 그리고 특정 동작을 검증하기 위한 수동 테스트 작성을 통해 확보된다. 개발 팀이 에이전트를 매일 직접 사용하며 발견하는 오류는 평가 데이터셋을 업데이트하는 가장 중요한 원천이 된다. 모든 실행 과정은 LangSmith와 같은 도구로 트레이스되어 팀 전체가 실패 모드를 분석하고 공유할 수 있는 환경을 구축한다. 이러한 데이터 기반 접근 방식은 에이전트의 취약점을 정확히 파악하고 개선하는 근거가 된다.

평가 지표는 정확도(Correctness)를 최우선으로 검증한 뒤, 단계 비율(Step ratio)과 도구 호출 비율(Tool call ratio) 등의 효율성 지표를 통해 최적의 모델을 선별한다. 두 모델이 동일한 작업을 완수하더라도 불필요한 도구 호출이나 단계가 많으면 지연 시간과 비용이 증가하여 사용자 경험을 저해한다. 정확도가 일정 수준 이상인 모델들 사이에서 효율성 지표를 비교함으로써 프로덕션 환경에 가장 적합한 모델을 선택할 수 있다. 이는 단순한 성공률 이상의 입체적인 성능 분석을 가능하게 한다.

이상적 궤적(Ideal Trajectory) 개념을 도입하여 에이전트가 불필요한 단계를 거치지 않고 최단 경로로 작업을 수행하는지 정량적으로 비교한다. 이상적 궤적은 특정 작업을 해결하기 위한 가장 효율적인 단계와 도구 호출의 순서를 정의한 기준점이다. 실제 에이전트의 실행 경로를 이 기준과 비교하여 'Solve rate'와 같은 지표를 산출함으로써 모델의 지능과 효율성을 동시에 평가한다. 이를 통해 에이전트가 병렬 처리를 적절히 활용하는지 또는 불필요한 중간 단계를 생성하는지 명확히 확인할 수 있다.

bash

export LANGSMITH_API_KEY="lsv2_..."
uv run pytest tests/evals --eval-category file_operations --eval-category tool_use --model baseten:nvidia/zai-org/GLM-5

특정 카테고리와 모델을 지정하여 에이전트 평가를 실행하는 명령어 예시

병렬 도구 호출을 포함하는 에이전트의 이상적인 실행 궤적 다이어그램 — Diagram에이전트가 사용자의 위치와 시간을 파악할 때 독립적인 도구 호출을 병렬(par)로 처리하여 단계를 단축하는 최적의 경로를 보여준다. 이는 효율성 측정의 기준이 되는 'Ideal Trajectory'의 구체적인 예시로 활용된다.

순차적인 도구 호출로 인해 단계가 늘어난 비효율적인 에이전트 실행 궤적 다이어그램 — Diagram동일한 목적을 달성하지만 병렬 처리를 하지 않고 불필요한 단계를 추가하여 지연 시간과 비용이 증가한 사례를 시각화한다. 이상적 궤적과 비교하여 에이전트의 효율성 점수가 낮아지는 원인을 설명한다.

용어 해설

에이전트 평가(Agent Evaluation): — AI 에이전트가 주어진 목표를 달성하기 위해 수행하는 일련의 과정이 얼마나 정확하고 효율적인지 측정하는 프로세스이다. 단순히 최종 답변의 정답 여부만 확인하는 것이 아니라, 도구 호출의 적절성과 실행 단계의 최적성 등을 종합적으로 판단하여 에이전트의 신뢰성을 높이는 데 필수적이다.
이상적 궤적(Ideal Trajectory): — 특정 작업을 완수하기 위해 필요한 최소한의 도구 호출과 가장 효율적인 실행 단계로 구성된 최적의 경로를 의미한다. 에이전트의 실제 실행 과정을 이 궤적과 비교함으로써 불필요한 루프나 비효율적인 도구 사용을 정량적으로 파악하고 개선할 수 있는 기준점이 된다.
LLM 기반 평가(LLM-as-a-judge): — 정답이 명확히 정해지지 않은 주관적이거나 의미적인 결과물을 평가하기 위해 고성능 언어 모델을 평가자로 활용하는 기법이다. 에이전트가 메모리에 올바른 정보를 저장했는지 또는 대화 맥락을 잘 유지했는지 등 복잡한 기준을 자동화된 방식으로 검증할 때 유용하다.
도그푸딩(Dogfooding): — 개발자가 자신이 만든 소프트웨어를 실제 업무나 일상에서 직접 사용하며 성능을 검증하고 개선점을 찾는 내부 테스트 방식이다. 에이전트 개발에서는 실제 사용 중에 발생하는 예외 상황이나 실패 사례를 수집하여 새로운 평가 데이터셋을 구축하는 가장 강력한 소스가 된다.
트레이스(Trace): — 에이전트가 실행되는 동안 발생하는 모든 입력, 출력, 중간 단계의 도구 호출 및 모델의 추론 과정을 기록한 상세 이력이다. LangSmith와 같은 도구를 통해 트레이스를 분석하면 에이전트가 어느 지점에서 실패했는지 또는 왜 비효율적으로 동작했는지에 대한 심층적인 가시성을 확보할 수 있다.