AI 에이전트 프로덕션 평가를 위한 CI/CD 파이프라인 구축 경험

작성자의 평가 파이프라인 구축 경험에 공감하며, 특히 LLM-as-judge의 신뢰성 검증과 비용 최적화 전략에 대해 높은 관심을 보였다.

• Aggregate pass-rate 대신 기준별(per-criterion) 메트릭을 개별적으로 추적하라.
• LLM 평가자의 신뢰성을 확인하기 위해 인간 라벨링 홀드아웃 세트를 유지하고 Cohen's kappa를 계산하라.
• CI 파이프라인 비용 절감을 위해 휴리스틱 메트릭은 로컬에서, LLM 평가는 클라우드에서 수행하는 하이브리드 방식을 사용하라.

• 전체 통과율(aggregate pass-rate) 대신 기준별(per-criterion) 메트릭을 사용하여 성능 저하를 조기에 감지해야 한다.
• LLM-as-judge를 사용할 때는 인간 라벨링 홀드아웃 세트와 Cohen's kappa를 활용해 평가자의 신뢰성을 지속적으로 검증해야 한다.
• CI/CD 파이프라인에서는 휴리스틱 메트릭과 LLM 평가를 결합한 하이브리드 방식을 통해 API 비용을 효율적으로 관리할 수 있다.
• 프롬프트 변경보다 평가자(judge)의 신뢰성을 먼저 확보하는 것이 프로덕션 에이전트 운영의 핵심이다.