LLM 평가를 위한 오픈소스 블라인드 테스트 도구 공개

커뮤니티 반응

대체로 긍정적이며, LLM 평가의 객관성을 높이는 도구로서 유용하다는 반응이 많습니다.

01중립다수

블라인드 테스트와 휴리스틱 분석을 결합하여 LLM 평가의 정확도를 높이는 도구.

블라인드 저지 비교 방식: 두 에이전트에게 동일한 프롬프트를 입력하고, 모델 정보가 가려진 상태에서 별도의 저지 모델이 응답을 평가하여 객관성을 확보한다.

휴리스틱 기반 신뢰도 분석: LLM을 사용하지 않고 10x10 히트맵을 통해 문장의 확신도(hedged vs assertive)와 추론 밀도(marker count)를 시각화하여 모델의 응답 성향을 분석한다.

다중 턴 시나리오 테스트: 대화 이력을 단계별로 구분하여 입력함으로써 단일 턴에서는 드러나지 않는 환각 누적이나 아첨(sycophancy) 문제를 효과적으로 탐지한다.

유연한 평가 지표 설정: 사용자가 평가 차원을 정의하면 저지 모델의 프롬프트가 자동으로 조정되어 정확도, 안전성, 추론 깊이 등 원하는 기준으로 모델을 평가할 수 있다.

범용적 호환성: OpenAI 호환 엔드포인트를 지원하여 vLLM, Ollama, LM Studio 등 다양한 로컬 및 원격 서버와 연동이 가능하다.

vLLM추천

추론 엔진

Ollama추천

추론 엔진

OpenAI추천

API 제공자

Anthropic추천

API 제공자