Rubric-eval: AI 에이전트 행동 테스트 및 CI/CD 통합 도구

섹션별 상세

에이전트의 최종 출력물만 평가하는 기존 방식은 잘못된 도구 호출이나 불필요한 추론 과정을 탐지하지 못하는 한계가 있다. Rubric-eval은 도구 호출 정확도, 추론 품질, 지연 시간, 비용 등 에이전트의 내부 행동을 직접 측정하여 이러한 회귀를 방지한다.

근거

Rubric-eval은 도구 호출, 인자, 추론 과정, 지연 시간 등 에이전트의 내부 행동을 검증한다. — README 본문 'The problem' 섹션 출처

LangGraph, OpenAI 도구 호출 루프 등 기존 에이전트 프레임워크와 즉시 연동된다. 별도의 콜백이나 복잡한 설정 없이 에이전트가 생성한 메시지 기록을 입력받아 테스트 케이스를 구성한다.

python

report = rubric.evaluate(test_cases=rubric.run_langgraph(agent, scenarios=[rubric.AgentScenario(input="Where is my order #ORD-9821?", expected_tools=["lookup_order"],),rubric.AgentScenario(input="My account is locked, this is urgent.", expected_tools=["create_ticket"], forbidden_tools=["send_email"],),]),metrics=[rubric.ToolCallAccuracy(), rubric.TraceQuality(), rubric.LatencyMetric(max_ms=3000)],output_html="report.html",output_json="report.json",)

LangGraph 에이전트의 도구 호출 정확도, 추론 품질, 지연 시간을 검증하는 테스트 실행 예시

CI/CD 환경에 최적화되어 PR마다 에이전트의 성능 변화를 추적한다. 베이스라인 파일과 현재 결과를 비교하여 점수 하락이나 회귀 발생 시 즉시 알림을 제공하며, 로컬과 동일한 환경에서 테스트를 수행한다.

yaml

- uses: Kareem-Rashed/[email protected]
  with:
    eval-file: evals/regression.py
    baseline: evals/baseline.json
  env:
    OPENAI_API_KEY: ${{ secrets.OPENAI_API_KEY }}

GitHub Actions를 사용하여 CI 파이프라인에서 에이전트 평가를 자동화하는 설정

근거

GitHub Action을 통해 PR마다 베이스라인과 결과를 비교하고 회귀 테스트를 수행한다. — README 본문 'Catch regressions in CI' 섹션 출처

ToolCallAccuracy, TraceQuality, LatencyMetric 등 다양한 내장 메트릭을 제공하며, BaseMetric을 상속하여 사용자 정의 메트릭을 쉽게 추가할 수 있다. 모든 테스트 결과는 단일 HTML 파일로 생성되어 별도의 서버 없이도 상세 분석이 가능하다.

용어 해설

회귀(Regression): — 소프트웨어 개발에서 코드나 프롬프트 변경 후 이전에 정상 작동하던 기능이 오작동하는 현상. 에이전트 시스템에서는 프롬프트 수정으로 인해 에이전트가 올바른 도구를 호출하지 않거나 잘못된 경로로 추론하는 경우가 해당함.
지속적 통합 및 배포(CI/CD): — 코드 변경 사항을 자동으로 빌드, 테스트 및 배포하는 프로세스. 에이전트 개발에서는 PR 단계에서 테스트를 자동 실행하여 성능 저하나 기능 오류를 사전에 감지하는 데 사용됨.
LangGraph: — LLM 에이전트의 상태와 흐름을 그래프 구조로 정의하여 복잡한 워크플로를 구축하는 라이브러리. 에이전트의 단계별 실행과 상태 관리를 명시적으로 제어할 수 있음.

기술

Python
LangGraph
GitHub Actions
OpenAI API

활용 사례

에이전트 회귀 테스트
CI/CD 파이프라인 통합
도구 호출 정확도 검증

언급된 리소스

GitHubRubric-eval GitHub