공개 벤치마크에 대한 신뢰가 흔들린 세 가지 이유와 생산 데이터 기반 평가의 필요성

대체로 공감하는 반응이 많았고, 여러 사용자가 자체 평가셋·고정화·제공자 변수 통제 같은 실무 절차를 공유하며 유사한 경험을 보고했다.

• 배포 전에는 실제 트래픽에서 샘플링한 고정 평가셋을 구성해 모델별로 동일 입력(순서 고정)으로 테스트하고 pass rate·latency·토큰 비용·주관 품질을 함께 측정하라.
• 모델 비교 파이프라인에 중간 래퍼(shim)를 두어 모든 후보가 동일한 요청 순서와 단일 로그 스키마로 처리되게 하라; 이렇게 하면 공급자별 변동이 제거되어 모델 성능 차이만 측정된다.
• 평가셋은 버전 관리하고 주기적 변경을 피하라; 평가셋이 고정되어야 시간이 지나며 '현재 모델에 유리한 항목'으로 변하는 것을 방지할 수 있다.

• 벤더가 설계·통제한 공개 벤치마크는 후보 선정에는 유용하지만 실제 배포 결정은 자체 생산 트래픽으로 샘플링한 고정 평가셋으로 내려야 한다; 이렇게 하면 모델 성능이 실제 입력 분포에서 어떻게 작동하는지 직접 확인할 수 있다.
• 비교 실험에서는 모델 외 모든 변수를 고정해야 공정한 비교가 가능하므로 요청 순서·입력·로그 스키마를 통일하는 shim(GPTProto 같은 중간 계층)을 사용해 latency·cost 로그를 단일 형식으로 수집하라.
• 평가셋은 얼핏 작게 보이더라도(작성자는 약 240개 샘플) 분포를 반영하고 버전 관리·고정화를 하면 시간이 지나며 '현재 모델에 유리한 항목'으로 변하는 것을 방지할 수 있다.
• 공개 리더보드 상위 모델이 실제 제품 분포에서 동작하지 않을 수 있으므로 롱테일 실패 모드와 생산 지연·비용을 반드시 측정해 리스크를 평가하라.