gold-eval

고정 평가셋은 동일한 입력에 대해 일관된 기준 응답을 갖는 라벨된 데이터 모음으로, 현재 모델의 출력 점수를 이전 기준선과 비교해 성능 변화를 감지하는 데 사용된다. 이 글에서는 프로바이더 업데이트나 배포 변동이 의심될 때 동일한 골드 입력을 돌려 점수 차이를 확인하는 절차를 의미한다. 골드 평가를 자동화하면 프로덕션에서 문제 원인 규명 속도를 크게 높일 수 있다.