LangChain 에이전트 프로덕션 CI를 위한 평가 지표 개선 사례

유사한 에이전트 평가 문제를 겪고 있는 사용자들의 공감을 얻고 있으며, 평가 기준 설정의 어려움에 대한 논의가 이어지고 있다.

• LLM 평가 시 1-5점 척도 대신 4가지 이진 기준(정확성, 근거성, 형식, 질문 답변 여부)을 도입해 보라.
• 일일 CI에는 가중 합산 방식을, 주간 정밀 검사에는 기준별 임계값 방식을 사용하여 운영 효율을 최적화하라.

• LLM 평가 시 1-5점 척도보다 이진 분류 기준을 여러 개 사용하는 것이 평가자 간 일치도(Cohen's kappa)를 높이는 데 효과적이다.
• 4가지 이진 평가 기준(정확성, 근거성, 형식, 질문 답변 여부)은 평가 비용과 신뢰도 사이의 균형을 맞추기에 적절하다.
• 평가 기준이 늘어나면 프롬프트 작성 시 기준별 정의를 명확히 해야 평가자 편향(rater drift)을 방지할 수 있다.
• 일일 CI에는 가중 합산 방식을, 주간 정밀 검사에는 기준별 임계값 방식을 적용하여 운영 효율을 최적화할 수 있다.