Performance–Cost Trade-off
성능·비용 상충 관계
LLM 라우팅에서 응답 품질과 추론 비용을 하나의 선택 기준으로 함께 다루는 관계입니다. 품질 성능은 accuracy, F1, LLM judge 점수 등으로 측정하고 비용은 호출별 token 수와 가격으로 계산합니다. 비용 가중치가 커지면 값비싼 대형 모델보다 저렴한 후보를 선택하는 정책이 유리해집니다.
성능·비용 상충 관계
LLM 라우팅에서 응답 품질과 추론 비용을 하나의 선택 기준으로 함께 다루는 관계입니다. 품질 성능은 accuracy, F1, LLM judge 점수 등으로 측정하고 비용은 호출별 token 수와 가격으로 계산합니다. 비용 가중치가 커지면 값비싼 대형 모델보다 저렴한 후보를 선택하는 정책이 유리해집니다.
