llm-eval-kit: LLM을 위한 모듈형 자가 정제 평가 프레임워크

llm-eval-kit은 단순한 수치 점수 제공을 넘어 LLM 응답의 문제점을 분석하고 개선 방향을 제시하는 모듈형 평가 프레임워크입니다. 추론, 사실성, 일관성, 안전성 등 8가지 직교하는 비평가(Critic)를 통해 다차원적인 점수를 산출하며, 품질이 목표치에 도달할 때까지 답변을 다시 작성하는 자가 정제(Self-refinement) 루프를 내장하고 있습니다. Anthropic, OpenAI 등 다양한 모델 제공자와 호환되며 사용자가 직접 비평가나 스코어러를 플러그인 형태로 확장할 수 있는 유연한 구조를 갖추고 있습니다. 이를 통해 개발자는 프롬프트 변경이 실제 성능 향상으로 이어졌는지 수치와 근거를 바탕으로 검증할 수 있습니다.