online-evaluator

프로덕션 환경에서 발생하는 실시간 트래픽에 대해 LLM을 사용하여 자동으로 품질을 평가하는 시스템이다. 답변의 일관성, 안전성, 형식 준수 여부 등을 실시간으로 감시하여 성능 저하를 감지한다.