프롬프트 라우팅
입력된 프롬프트의 특성에 따라 가장 적합한 모델이나 처리 경로를 선택하는 기술이다. 비용이 비싼 고성능 모델과 저렴한 소형 모델을 효율적으로 섞어 사용하여 전체 비용과 성능의 균형을 맞춘다.
GPT-5 분류 비용이 아깝다면? 로컬 휴리스틱 라우팅으로 지연 시간 단축