cache-utilization

LLM 요청 시 이전에 생성된 결과를 재사용하는 비율을 의미한다. 높은 캐시 활용률은 API 호출 비용을 절감하고 응답 지연 시간을 획기적으로 줄이는 데 기여한다.