페이지드 KV 캐시
LLM 추론 시 이전 토큰들의 키-값 쌍을 메모리에 저장할 때, 고정된 크기의 블록 단위로 관리하는 기법입니다. 메모리 파편화를 방지하고 긴 컨텍스트를 효율적으로 처리하여 추론 성능을 높이는 데 필수적입니다.