Pre-Inference Routing

추론 전 라우팅은 모델 실행 전에 문서나 요청의 특성을 판단하고 적합한 모델 또는 처리 경로를 선택하는 방식입니다. 문서 길이처럼 사전에 알 수 있는 신호를 이용해 비용과 성능의 균형을 조정합니다.