q8-0
Q8_0은 데이터를 8비트 정수 형식으로 압축하는 특정 양자화 방식 중 하나이다. 16비트 정밀도 대비 메모리 사용량을 절반으로 줄이면서도 성능 저하를 거의 체감할 수 없을 정도로 최소화하여, 로컬 환경에서 모델을 효율적으로 구동할 때 널리 사용되는 설정이다.
Q8_0은 데이터를 8비트 정수 형식으로 압축하는 특정 양자화 방식 중 하나이다. 16비트 정밀도 대비 메모리 사용량을 절반으로 줄이면서도 성능 저하를 거의 체감할 수 없을 정도로 최소화하여, 로컬 환경에서 모델을 효율적으로 구동할 때 널리 사용되는 설정이다.