mla-cache

긴 대화에서 이미 계산한 Attention의 Key와 Value 상태를 저장해 재계산을 줄이는 메모리 구조입니다. 본문에서는 32,768 Token 단위 Page로 나누고 실행 깊이에 따라 접어 표현합니다.