deep-eval

DeepEval는 생성 결과의 신뢰성(faithfulness), 답변 관련성, 문맥 정밀도·회수율 등 정성적 기준을 정량화해 평가하는 벤치마크 도구로, 여러 파이프라인을 동일 기준으로 비교할 때 사용된다. 이 프로젝트는 DeepEval 점수를 골든 데이터셋을 기준으로 삼아 파이프라인별 성능 차이를 비교했다. DeepEval은 인간 평가를 자동화하거나 조직화하는 방법론을 포함해 생성 응답의 품질을 세부 지표로 분해한다.