캐시 읽기
이전에 입력된 프롬프트의 일부를 서버에 저장해두고 재사용함으로써 추론 비용과 응답 시간을 줄이는 기술이다. 하지만 무관한 정보가 캐시에 쌓이면 불필요한 비용이 계속 발생하는 원인이 되기도 한다.