API 캐싱
동일하거나 유사한 API 요청에 대한 응답을 저장해 두었다가 재사용하는 기술이다. 이를 통해 LLM의 추론 시간을 단축하고 반복적인 요청에 따른 API 호출 비용을 절감할 수 있다.