IQ2_M 양자화
Quantics에서 제안한 고효율 양자화 방식으로, 매우 낮은 비트수(약 2비트)에서도 모델의 가중치를 최적화하여 성능 저하를 최소화하도록 설계된 기법이다.
5060 Ti에서 Gemma 2 27B 구동: IQ2_M 양자화로 코딩 실력까지 잡았다