Cache Bust
캐시 무효화
저장된 캐시 데이터가 만료되거나 유효하지 않게 되어 사용할 수 없게 되는 현상이다. 캐시 버스트가 발생하면 LLM은 컨텍스트를 재구축하기 위해 입력 토큰을 처음부터 다시 읽어야 하며, 이는 API 호출 비용 상승과 응답 지연 시간 증가로 이어진다.
캐시 무효화
저장된 캐시 데이터가 만료되거나 유효하지 않게 되어 사용할 수 없게 되는 현상이다. 캐시 버스트가 발생하면 LLM은 컨텍스트를 재구축하기 위해 입력 토큰을 처음부터 다시 읽어야 하며, 이는 API 호출 비용 상승과 응답 지연 시간 증가로 이어진다.
