cane-eval: LLM 에이전트의 신뢰성을 평가하고 보장하는 오픈소스 도구

섹션별 상세

cane-eval은 LLM-as-Judge, 스키마 검증, 지연 시간 추적이라는 세 가지 기둥을 기반으로 에이전트의 신뢰성을 측정한다. 각 평가 실행은 0에서 100 사이의 '에이전트 신뢰성 점수(Agent Reliability Score)'를 생성하며, 점수에 따라 A부터 F까지의 등급을 부여하여 프로덕션 준비 상태를 직관적으로 나타낸다.

사용자는 YAML 파일을 통해 평가 기준과 가중치를 자유롭게 설정할 수 있다. 예를 들어 정확도(accuracy)에 40%, 완결성(completeness)에 30%, 환각 방지(hallucination)에 30%의 가중치를 부여하여 비즈니스 목적에 최적화된 평가 모델을 구축하는 방식이다.

yaml

name: Support Agent
criteria:
  - key: accuracy
    weight: 40
  - key: completeness
    weight: 30
  - key: hallucination
    weight: 30
schema:
  type: object
  required: [answer, sources]
  properties:
    answer: { type: string }
    sources: { type: array }
latency_target_ms: 5000
tests:
  - question: What is the return policy?
    expected_answer: 30-day return policy for unused items with receipt

평가 기준, 응답 스키마, 지연 시간 목표 및 테스트 케이스를 정의하는 YAML 설정 예시

CLI 도구는 단순한 평가를 넘어 프로덕션 환경의 제약 조건을 강제하는 기능을 포함한다. --fail-on-schema 옵션으로 응답 구조가 틀릴 경우 실패 처리하거나, --latency-p95 옵션으로 특정 지연 시간 임계치를 초과할 때 경고를 발생시켜 서비스 품질을 관리한다.

bash

# Validate responses against JSON schema
cane-eval run tests.yaml --schema schema.json --fail-on-schema
# Fail if p95 latency exceeds 10 seconds
cane-eval run tests.yaml --latency-p95 10000
# Both + mine failures into training data
cane-eval run tests.yaml --schema schema.json --latency-p95 10000 --mine --export dpo

스키마 검증, 지연 시간 제한 설정 및 실패 데이터 마이닝을 수행하는 CLI 명령어

평가 과정에서 발생한 실패 사례는 --mine 옵션을 통해 자동으로 수집된다. 수집된 데이터는 DPO(Direct Preference Optimization)나 SFT(Supervised Fine-Tuning) 형식으로 내보낼 수 있어, 모델의 취약점을 보완하기 위한 재학습 데이터셋 구축에 직접 활용된다.

용어 해설

판사로서의 LLM(LLM-as-a-Judge): — LLM을 사용하여 다른 LLM의 응답 품질을 평가하는 기법이다. 사람이 직접 평가하는 대신 고성능 모델을 활용해 정확도와 맥락 이해도를 수치화하므로 대규모 평가를 자동화하고 효율화하는 데 핵심적인 역할을 한다.
JSON 스키마 검증(JSON Schema Validation): — 데이터 구조가 미리 정의된 형식(JSON Schema)을 따르는지 검사하는 과정이다. LLM 에이전트가 API 호출이나 특정 포맷의 응답을 생성할 때 발생할 수 있는 구조적 오류를 방지하여 시스템의 안정성을 보장한다.
직접 선호도 최적화(DPO): — Direct Preference Optimization의 약자로, 인간의 선호도를 모델 학습에 직접 반영하는 강화학습 기법이다. 복잡한 보상 모델 없이도 모델이 더 안전하고 유용한 응답을 생성하도록 최적화하는 데 사용된다.
p95 지연 시간(p95 Latency): — 전체 요청 중 가장 느린 5%를 제외한 나머지 95%의 요청이 완료되는 데 걸리는 시간이다. 평균 지연 시간보다 사용자 경험의 하한선을 파악하고 시스템의 성능 병목을 진단하는 데 더 중요한 지표로 활용된다.

기술

cane-eval
Python
Anthropic API
YAML

활용 사례

에이전트 배포 전 회귀 테스트
응답 구조 및 스키마 검증
LLM 성능 벤치마킹
학습용 실패 데이터 수집