nexa-gauge: LLM 및 RAG 시스템을 위한 그래프 기반 평가 프레임워크

nexa-gauge는 LLM, RAG 및 에이전트 시스템의 출력을 평가하기 위한 오픈 소스 파이썬 패키지이자 CLI 도구입니다. 기존의 수동 체크 방식을 대체하여 비용 추정, 캐시 기반 실행, 구조화된 결과 보고가 가능한 타입 기반 평가 그래프를 제공합니다. 사용자는 실행 전 예상 비용을 확인하고, 입력이나 프롬프트가 변경되지 않은 경우 캐시된 결과를 재사용하여 불필요한 API 지출을 방지할 수 있습니다. Relevance, Grounding, Red Teaming, GEval 등 다양한 평가 메트릭을 지원하여 프로덕션 환경에서의 품질 및 안전성 신호를 측정합니다.