Intuit, pytest 기반 LLM 평가 라이브러리 'fasteval' 오픈소스 공개

실용적 조언

RAG 시스템 구축 시 fe.faithfulness 메트릭을 사용하여 답변이 검색된 컨텍스트를 벗어나지 않는지 상시 모니터링한다.
에이전트 개발 시 도구 호출 궤적 테스트를 적용하여 의도하지 않은 API 호출이나 인자 오류를 방지한다.

섹션별 상세

fasteval은 pytest 프레임워크에 직접 플러그인되는 데코레이터 기반 API를 제공한다. 사용자는 fe.correctness와 같은 데코레이터를 사용하여 임계값을 설정하고, 기존 pytest 테스트 함수 내에서 LLM 출력을 검증한다. 이는 별도의 CLI나 대시보드 없이 익숙한 테스트 환경에서 비결정적인 LLM 응답을 정량적으로 평가할 수 있게 한다.

python

import fasteval as fe

fe.correctness(threshold=0.8)
fe.relevance(threshold=0.7)
fe.hallucination(threshold=0.3)

def test_my_agent():
    response = agent("What is our refund policy?")
    fe.score(response, expected_output="Refunds within 30 days...")

fasteval 데코레이터를 사용하여 LLM 응답의 정확성, 관련성, 환각 점수를 임계값 기반으로 테스트하는 예시

50개 이상의 내장 메트릭을 통해 정확성, 환각, 충실도(faithfulness), 독성 등을 측정한다. 특히 RAG 파이프라인을 위해 컨텍스트 정밀도(contextual precision)와 재현율(recall) 같은 특화된 평가 지표를 지원한다. 이를 통해 검색된 문서와 생성된 답변 간의 연관성을 수치화하여 시스템의 신뢰도를 높인다.

AI 에이전트의 도구 사용 궤적(trajectory) 테스트 기능을 포함하고 있다. 에이전트가 도구를 호출하는 순서와 인자값이 의도대로 작동하는지 검증하는 로직을 제공한다. 복잡한 멀티스텝 에이전트 워크플로우에서 발생할 수 있는 논리적 오류를 사전에 포착하는 데 유용하다.

LLM 기반 메트릭과 결정론적(deterministic) 메트릭을 혼합하여 사용할 수 있다. OpenAI나 Anthropic 등 다양한 모델 제공자를 플러그인 방식으로 연결할 수 있으며, CSV 파일을 통한 데이터 기반 테스트도 지원한다. 이는 단순한 문자열 비교를 넘어 영어로 기술된 커스텀 기준(fe.criteria)으로도 평가가 가능함을 의미한다.

용어 해설

환각(Hallucination): — LLM이 사실과 다르거나 문맥에 맞지 않는 정보를 그럴듯하게 생성하는 현상이다. fasteval은 이를 정량적으로 측정하기 위해 0.3 이하의 임계값을 설정하는 등의 메트릭을 제공하여 모델의 신뢰성을 검증한다.
충실도(Faithfulness): — 생성된 답변이 제공된 참고 문헌이나 컨텍스트에 얼마나 충실하게 근거하고 있는지를 나타내는 지표이다. RAG 시스템에서 모델이 외부 지식을 왜곡하지 않고 정확히 반영했는지 평가하는 데 핵심적인 역할을 한다.
궤적 테스트(Trajectory Testing): — AI 에이전트가 특정 작업을 수행하기 위해 호출한 도구의 순서와 인자값이 의도대로 작동했는지 검증하는 과정이다. 복잡한 멀티스텝 워크플로우에서 에이전트의 논리적 흐름이 올바른지 파악하는 데 사용된다.
비결정론적(Non-deterministic): — 동일한 입력에 대해 매번 다른 결과가 출력될 수 있는 특성이다. LLM의 이러한 성질 때문에 전통적인 일치 여부 확인(Assertion) 대신 확률적 점수나 임계값 기반의 평가 방식이 요구된다.
문맥 정밀도(Contextual Precision): — RAG 시스템에서 검색된 정보가 사용자의 질문과 얼마나 밀접하게 관련되어 있는지를 측정하는 지표이다. 검색 단계의 품질을 평가하여 불필요한 정보가 답변 생성에 섞이지 않도록 관리하는 데 중요하다.

언급된 도구

fasteval추천링크

LLM 응답 및 에이전트 궤적 평가 라이브러리

pytest추천

파이썬 테스트 프레임워크

언급된 리소스

GitHubfasteval GitHub Repository

문서fasteval Documentation