staticcache

StaticCache는 모델의 KV 캐시와 관련된 메모리 레이아웃을 고정하고 재사용하여 prefill과 같은 단계에서 메모리 재배치 비용을 줄이는 접근법이다. 캐시 구조를 사전에 정렬하면 재포장(repacking)이나 동적 할당을 줄여 전체 추론 시간에 영향을 미친다. 특히 긴 컨텍스트 또는 반복 prefill을 자주 수행하는 애플리케이션에서 효율이 나타난다.