KV Cache Eviction
KV 캐시 Eviction
고정된 메모리 예산 안에 KV 캐시를 유지하려고 일부 토큰의 Key-Value 쌍을 삭제하는 기법입니다. 각 토큰의 향후 중요도를 점수화한 뒤 상위 항목을 보존하는 방식이 일반적이지만, 삭제된 항목은 이후 복구할 수 없습니다.
KV 캐시 Eviction
고정된 메모리 예산 안에 KV 캐시를 유지하려고 일부 토큰의 Key-Value 쌍을 삭제하는 기법입니다. 각 토큰의 향후 중요도를 점수화한 뒤 상위 항목을 보존하는 방식이 일반적이지만, 삭제된 항목은 이후 복구할 수 없습니다.
