keys-vs-values-asymmetry
키와 값의 민감도 차이
KV 캐시에서 Key와 Value를 서로 다른 형식으로 양자화할 때 두 구성요소가 모델 성능에 미치는 영향이 다르게 나타나는 현상이다. 실험에서는 Keys 쪽 양자화가 정확도 손실에 더 크게 기여하는 경우가 종종 관찰되며, 따라서 K/V를 비대칭으로 처리하는 권장안이 등장했다. 하드웨어나 구현체의 fused path 유무에 따라 속도·효율성 결과도 달라진다.
키와 값의 민감도 차이
KV 캐시에서 Key와 Value를 서로 다른 형식으로 양자화할 때 두 구성요소가 모델 성능에 미치는 영향이 다르게 나타나는 현상이다. 실험에서는 Keys 쪽 양자화가 정확도 손실에 더 크게 기여하는 경우가 종종 관찰되며, 따라서 K/V를 비대칭으로 처리하는 권장안이 등장했다. 하드웨어나 구현체의 fused path 유무에 따라 속도·효율성 결과도 달라진다.
