llm-eval-kit: LLM을 위한 모듈형 자가 정제 평가 프레임워크

섹션별 상세

기존 평가 도구들이 단일 점수만 제공하여 구체적인 결함 파악이 어려웠던 문제를 해결하기 위해 8가지 다차원 비평가 시스템을 도입했습니다. Reasoning, Factual, Coherence, Safety, Bias, Creativity, Completeness, Clarity로 구성된 비평가들이 각기 다른 관점에서 응답을 분석하여 평균 점수에 가려질 수 있는 실패 모드를 찾아냅니다. 이를 통해 응답이 사실적으로는 정확하더라도 논리적 비약이 있거나 가독성이 떨어지는 등의 세부적인 문제를 식별할 수 있습니다.

근거

llm-eval-kit은 8가지 직교하는 비평가(Critics)를 통해 다차원 점수를 산출합니다. — The 8 critics 섹션 및 Architecture 다이어그램

평가 결과가 단순히 측정에 그치지 않고 실제 품질 개선으로 이어지도록 자가 정제(Self-refinement) 루프 기능을 제공합니다. 각 비평가가 산출한 점수와 함께 제공되는 근거(Rationale) 및 개선 제안(Suggestions)을 모델에 다시 입력하여 품질이 안정화될 때까지 답변을 반복 수정합니다. 실제 예시에서 1차 반복 시 0.74였던 점수가 취약점 보완을 통해 2차에서 0.88로 상승하며 품질이 수렴하는 과정을 확인할 수 있습니다.

근거

자가 정제 루프를 통해 1차 반복에서 0.74였던 점수가 2차에서 0.88로 개선되며 수렴할 수 있습니다. — Quickstart 섹션의 터미널 출력 예시 이미지

개발자가 자신의 요구사항에 맞춰 평가 체계를 자유롭게 변경할 수 있도록 고도의 확장성을 갖춘 플러그인 아키텍처를 채택했습니다. 모든 비평가는 약 30줄의 코드로 작성 가능한 플러그인 형태이며, 가중치 기반의 스코어러나 모델 제공자(Provider) 역시 레지스트리에 등록하여 손쉽게 교체할 수 있습니다. 이는 특정 도메인에 특화된 평가 기준이 필요한 프로젝트에서 커스텀 비평가를 신속하게 도입할 수 있게 해줍니다.

CLI 도구와 시각화 리포트 기능을 통해 대규모 벤치마크 수행 및 결과 분석 편의성을 극대화했습니다. llm-eval 명령어를 통해 터미널에서 즉시 평가와 정제를 실행할 수 있으며, 여러 모델의 성능을 비교하는 비동기 벤치마크 러너를 통해 HTML 대시보드나 JSON 형태의 상세 리포트를 생성합니다. 이를 통해 개발팀은 모델 변경이나 프롬프트 튜닝 시 발생할 수 있는 성능 퇴행을 시각적으로 모니터링할 수 있습니다.

기술

Python
Anthropic API
uv
Pydantic
Plotly

활용 사례

프롬프트 변경에 따른 모델 성능 변화 측정
다양한 LLM 모델 간의 벤치마크 비교
실시간 응답 품질 자가 정제 및 개선
도메인 특화 평가 지표 구축

언급된 리소스

GitHubllm-eval-kit GitHub Repository

문서Full Documentation