evaluation-engine
프롬프트 평가 엔진
프롬프트와 모델 변경을 CI/CD 파이프라인에서 통계적으로 검증하는 자동화 테스트 시스템이다. Promptfoo, LangSmith, Braintrust 같은 툴을 통해 수백 개의 엣지케이스를 실행하고 보조 모델(LLM-as-a-Judge)로 엄격한 루브릭에 따라 점수를 매긴다. 빌드 게이트로서 예컨대 95% 통과율을 요구해 우발적인 회귀를 방지한다.
프롬프트 평가 엔진
프롬프트와 모델 변경을 CI/CD 파이프라인에서 통계적으로 검증하는 자동화 테스트 시스템이다. Promptfoo, LangSmith, Braintrust 같은 툴을 통해 수백 개의 엣지케이스를 실행하고 보조 모델(LLM-as-a-Judge)로 엄격한 루브릭에 따라 점수를 매긴다. 빌드 게이트로서 예컨대 95% 통과율을 요구해 우발적인 회귀를 방지한다.
