Intelligent Routing

동일한 프롬프트 접두사를 가진 요청을 해당 데이터가 캐싱된 특정 인스턴스로 전달하는 기술입니다. 캐시 재사용률을 높여 추론 성능을 최적화하고 비용을 절감합니다.