value-quantization

값 벡터 양자화는 어텐션에서 사용되는 value 행렬의 부동소수점 표현을 저비트 정수 표현으로 근사하는 과정으로, 메모리와 대역폭을 줄이는 목적이 있다. 균일 양자화나 비균일 양자화, ternary 등 다양한 방식이 있으며 본 글에서는 Hadamard 회전 후 균일 2비트 양자화를 적용해 동등한 품질을 목표로 했다. 양자화는 분포의 극단치와 구간 설계에 민감하므로 회전이나 스케일링과 같은 사전 처리 기법과 함께 평가해야 신뢰할 수 있는 결과가 나온다.