GEDD: AI 에이전트 평가를 위한 증거 기반 LLM-as-a-Judge 프레임워크

섹션별 상세

기존의 일반적인 LLM 평가 방식은 도메인 특화 실패를 포착하는 데 한계가 있다. GEDD는 도메인 전문가가 직접 에이전트 응답을 검토하고 실패 사례를 라벨링하는 'Annotation-first' 워크플로를 제공한다.

사용자는 워크벤치에서 에이전트 응답을 검토하고, 실패 유형을 도메인 언어로 정의한 '코드북'을 생성한다. 이 과정에서 'Open coding'과 'Axial coding' 기법을 사용하여 반복되는 실패 패턴과 근본 원인을 구조화한다.

구조화된 실패 데이터는 LLM-as-a-Judge 프롬프트로 자동 변환되어 CI/CD 파이프라인의 배포 게이트로 활용된다. 이 프롬프트는 단순한 1-5점 척도가 아닌, 정의된 도메인 규칙에 따라 에이전트의 합격 여부를 판정한다.

ML 엔지니어는 생성된 평가 데이터를 MLflow 아티팩트로 내보내 모델 회귀 테스트를 수행한다. 시스템은 인간 평가자와 LLM 평가자 간의 일치도(Kappa >= 0.80)를 기준으로 평가 모델의 신뢰성을 검증한다.

근거

시스템은 인간 평가자와 LLM 평가자 간의 일치도(Kappa >= 0.80)를 기준으로 평가 모델의 신뢰성을 검증한다. — Try a 90-second demo 섹션 및 ML Engineer Handoff 섹션

LLM 기반 평가(LLM-as-a-Judge): — LLM을 사용하여 다른 모델의 출력물이나 에이전트의 동작을 평가하는 기법이다. 사람이 직접 평가하는 대신 모델이 기준에 따라 점수를 매기거나 합격 여부를 판정하여 평가 효율을 높인다.
개방 코딩(Open Coding): — 질적 연구 방법론에서 데이터를 분석하여 개념과 범주를 도출하는 초기 과정이다. 에이전트의 실패 사례를 검토하고 구체적인 실패 유형을 식별하여 코드북을 만드는 데 사용된다.
축 코딩(Axial Coding): — 도출된 개념들을 연결하여 현상의 원인, 맥락, 결과를 구조화하는 분석 기법이다. 개방 코딩으로 식별된 실패 유형들을 그룹화하여 근본 원인을 파악하는 데 활용된다.
코헨의 카파 계수(Cohen's Kappa): — 두 평가자 간의 일치도를 측정하는 통계 지표이다. 우연에 의한 일치를 제외하고 평가의 신뢰성을 나타내며, LLM 평가자가 인간 평가자와 얼마나 일치하는지 검증하는 기준으로 사용된다.

bash

pip install -e ".[dev]"
grounded-evals serve --host 127.0.0.1 --port 8080

GEDD 프레임워크를 설치하고 웹 애플리케이션을 실행하는 명령어이다.