int4
INT4 양자화
가중치를 4비트 정수로 표현해 모델 크기를 네 배 줄이는 양자화 방식으로, 온칩 메모리에 모델을 올리기 위한 핵심 수단이다. 글에서는 3.16M 파라미터 모델을 약 1.5 MB로 만들기 위해 INT4를 사용했다.
INT4 양자화
가중치를 4비트 정수로 표현해 모델 크기를 네 배 줄이는 양자화 방식으로, 온칩 메모리에 모델을 올리기 위한 핵심 수단이다. 글에서는 3.16M 파라미터 모델을 약 1.5 MB로 만들기 위해 INT4를 사용했다.
