EvalLens: LLM 구조화된 출력의 정밀 평가 도구

섹션별 상세

LLM의 구조화된 데이터 추출 성능을 정밀하게 측정하기 어려운 문제가 있었다. EvalLens는 예상 결과(Expected)와 실제 출력(Actual)을 행 단위로 비교하여 스키마 준수 여부와 값의 정확성을 동시에 검증한다. 이를 통해 프롬프트 회귀 테스트나 데이터 추출 파이프라인의 유효성을 객관적으로 판단할 수 있다.

text

id,prompt,expected,actual
1,"Extract the name and role","{ "name": "Alice", "role": "engineer" }","{ "name": "Alice", "role": "engineer" }"
2,"Extract the name and role","{ "name": "Bob", "role": "designer" }","{ "name": "Bob", "role": "developer" }"

평가를 위해 업로드할 CSV 데이터셋의 구성 예시

단순한 일치 여부 확인만으로는 모델의 구체적인 취약점을 파악하기 부족하다. 이 도구는 SCHEMA_MISMATCH, MISSING_FIELD, WRONG_TYPE, WRONG_VALUE 등 6가지 상세 실패 유형을 정의하여 오류의 원인을 명확히 규정한다. 개발자는 이 분류를 보고 프롬프트를 수정해야 할지, 혹은 데이터 타입을 조정해야 할지 즉각적인 피드백을 얻는다.

근거

EvalLens는 SCHEMA_MISMATCH, MISSING_FIELD 등 6가지 실패 분류 체계를 제공한다. — Failure Taxonomy 섹션의 표

데이터 보안이나 실시간 생성이 필요한 환경을 위해 두 가지 운영 모드를 지원한다. 호스팅 모드는 순수 파일 비교만 수행하여 API 키 노출 없이 브라우저에서 작동하며, 셀프 호스팅 모드는 AI 제공업체와 연동해 실제 출력을 생성한 후 평가까지 원스톱으로 처리한다. Docker와 Docker Compose를 지원하여 로컬 개발 환경에 빠르게 배포할 수 있는 구조를 갖췄다.

bash

git clone https://github.com/simonrendona/eval-lens.git
cd eval-lens
npm install
cp .env.example .env.local
npm run dev

EvalLens를 로컬 개발 환경에서 실행하기 위한 설치 및 실행 명령어

bash

docker build -t evallens .
docker run -p 3000:3000 \
 -e EVALLENS_MODE=self-hosted \
 -e OPENAI_API_KEY=sk-... \
 evallens

Docker를 사용하여 EvalLens를 셀프 호스팅 모드로 실행하는 방법

근거

셀프 호스팅 모드에서는 OpenAI, Anthropic, Gemini API를 통한 실시간 데이터 생성을 지원한다. — Self-Hosted Mode 섹션의 Environment Variables 설명

평가 결과의 가독성과 공유 편의성을 위해 다양한 내보내기 형식을 제공한다. 분석된 데이터는 CSV, JSON뿐만 아니라 사람이 읽기 좋은 Markdown 보고서와 브랜드 디자인이 적용된 PDF 형식으로 저장할 수 있다. 특히 셀프 호스팅 모드에서는 사용된 모델 정보와 설정값이 보고서에 포함되어 실험의 재현성을 높인다.

용어 해설

구조화된 출력(Structured Output): — LLM이 자유 양식의 텍스트 대신 JSON이나 XML처럼 정해진 형식과 규칙을 가진 데이터를 생성하는 것을 의미하며, 프로그램 간 데이터 연동에 필수적이다.
스키마 준수(Schema Conformance): — 생성된 데이터가 미리 정의된 구조(키 이름, 데이터 타입, 필수 항목 등)를 정확히 따르는지 확인하는 과정으로, 데이터의 무결성을 보장한다.
실패 분류 체계(Failure Taxonomy): — 오류를 단순히 '실패'로 정의하지 않고, 원인에 따라 세부 카테고리로 나누어 체계화한 목록으로, 문제 해결을 위한 구체적인 방향을 제시한다.
셀프 호스팅(Self-Hosted): — 소프트웨어를 외부 클라우드 서비스에 의존하지 않고 사용자의 자체 서버나 로컬 환경에 직접 설치하여 운영하는 방식으로, 데이터 보안과 제어권 확보에 유리하다.
회귀 테스트(Regression Testing): — 프롬프트나 모델을 변경했을 때 기존에 잘 작동하던 기능이 여전히 올바르게 동작하는지 확인하는 반복 테스트 과정이다.

기술

Next.js
TypeScript
Tailwind CSS
Docker
OpenAI API
Anthropic API
Gemini API

활용 사례

프롬프트 회귀 테스트
데이터 추출 파이프라인 유효성 검사
분류 모델 출력 벤치마킹
스키마 적합성 체크

언급된 리소스

DemoEvalLens Hosted Version

GitHubEvalLens GitHub Repository

id,prompt,expected,actual 1,"Extract the name and role","{ "name": "Alice", "role": "engineer" }","{ "name": "Alice", "role": "engineer" }" 2,"Extract the name and role","{ "name": "Bob", "role": "designer" }","{ "name": "Bob", "role": "developer" }"

EvalLens: LLM 구조화된 출력의 정밀 평가 도구

섹션별 상세

용어 해설

기술

활용 사례

언급된 리소스

EvalLens: LLM 구조화된 출력의 정밀 평가 도구

섹션별 상세

용어 해설

기술

활용 사례

언급된 리소스

관련 토론

댓글

관련 피드

관련 토론

댓글

관련 피드