smevals — 소규모 평가 도구

uvx smevals docs

로컬 커맨드로 smevals의 README를 출력해 도구 사용법과 예제를 확인한다. 이 명령은 사용자가 평가를 시작하기 전에 요구되는 파일 구조와 기본 커맨드를 빠르게 확인하도록 돕는다. 문서 출력을 바탕으로 eval 디렉터리와 YAML을 준비하게 된다.

uvx smevals build path-to-eval/

지정한 eval 디렉터리를 정적 HTML 리포트로 변환해 어디서든 호스팅할 수 있는 결과물을 생성한다. 빌드 과정은 이미 수행된 run과 grade 결과를 수집해 보기 쉬운 대시보드 형태의 페이지로 정리한다. 정적 리포트는 외부 공유나 아카이빙에 유용하다.

uvx smevals run path-to-eval/ -m gpt-5.5 -m claude-opus-4.6

지정한 eval을 여러 모델(config)로 실행해 run 기록을 생성한다. 각 -m 옵션은 서로 다른 config를 가리키며, 결과는 개별 run 파일로 남겨 이후 grading이나 비교에 사용된다. 모델별로 반복 실행해 다양한 설정을 수집할 때 유용하다.

uvx smevals grade path-to-eval/

이미 수집된 run들에 대해 정의한 grader를 실행해 점수와 체크 결과를 생성한다. grading은 run 생성과 분리되어 있어 재채점만으로 기준을 조정하거나 새로운 체크를 적용할 수 있다. 이 방식은 비용이 큰 재실행을 피하면서 평가 기준을 반복 실험하게 한다.

uvx smevals serve path-to-eval/

로컬 웹서버를 띄워 빌드하지 않아도 브라우저로 결과를 탐색할 수 있게 한다. serve는 run과 grade의 요약, 리더보드, 최근 실행 목록 등을 인터랙티브하게 보여주므로 분석과 디버깅에 편리하다. 개발 중 빠른 반복 확인에 적합하다.