kv-cache

이전 토큰 생성 시 계산된 Key와 Value 벡터를 메모리에 저장해두는 기법이다. 매번 처음부터 다시 계산할 필요를 없애주어 생성 속도를 비약적으로 높이지만 메모리 사용량이 늘어난다.