Judge calibration
판정자 보정
제품 기준을 수치화한 루브릭을 토대로 LLM 판정자를 학습시키고 교차검증하는 절차로, 랜덤 샘플과 골든셋을 이용해 판정자의 일관성(예: Cohen의 kappa)을 측정하고 오프라인·온라인 백테스트로 판정이 실제 지표를 예측하는지 확인한다.
판정자 보정
제품 기준을 수치화한 루브릭을 토대로 LLM 판정자를 학습시키고 교차검증하는 절차로, 랜덤 샘플과 골든셋을 이용해 판정자의 일관성(예: Cohen의 kappa)을 측정하고 오프라인·온라인 백테스트로 판정이 실제 지표를 예측하는지 확인한다.
