eviction-policy
캐시 삭제 정책
캐시 삭제 정책은 KV 캐시가 꽉 찼을 때 어떤 키·값을 제거할지 결정하는 규칙입니다. 본문에서는 시뮬레이터와 vLLM 검증을 통해 스마트한 삭제 정책의 개선 여지가 작아 실제로는 최대 +2.75% 개선에 그치고, 미래를 보는 오라클 수준의 상한이 +11.88%였다고 보고합니다. 고정 TTL이나 복잡한 정책은 세션 종료 시 전부 비우는 단순 전략보다 못한 경우도 있었다고 합니다.
캐시 삭제 정책
캐시 삭제 정책은 KV 캐시가 꽉 찼을 때 어떤 키·값을 제거할지 결정하는 규칙입니다. 본문에서는 시뮬레이터와 vLLM 검증을 통해 스마트한 삭제 정책의 개선 여지가 작아 실제로는 최대 +2.75% 개선에 그치고, 미래를 보는 오라클 수준의 상한이 +11.88%였다고 보고합니다. 고정 TTL이나 복잡한 정책은 세션 종료 시 전부 비우는 단순 전략보다 못한 경우도 있었다고 합니다.
