저순위 압축
행렬 또는 텐서를 저순위 행렬들의 곱으로 근사해 저장 비용을 줄이는 방법으로서, KV 벡터의 차원을 축소하거나 근사 표현을 생성해 메모리와 대역폭을 절감한다. 근사 오차가 어텐션 품질에 미치는 영향을 평가해 적용 계층과 rank를 결정해야 한다.