캐시 인식 라우팅
이전에 처리된 요청과 동일하거나 유사한 프롬프트를 감지하여 모델을 새로 호출하는 대신 저장된 결과를 반환하는 기술이다. 불필요한 중복 계산을 방지하여 API 호출 비용을 0으로 만들고 응답 속도를 획기적으로 개선한다. 대규모 데이터 처리나 반복적인 질의가 많은 서비스에서 비용 효율성을 극대화하는 핵심 요소이다.