groupwise-int
그룹 단위 정수 양자화
가중치를 그룹별 정수 표현으로 변환해 모델 메모리 사용량을 줄이는 양자화 형식입니다. 이 글에서는 공식 W8A16 artifact를 사용해 RTX 2080 Ti의 제한된 VRAM 안에 기본 모델과 MTP draft 가중치를 함께 적재했습니다.
그룹 단위 정수 양자화
가중치를 그룹별 정수 표현으로 변환해 모델 메모리 사용량을 줄이는 양자화 형식입니다. 이 글에서는 공식 W8A16 artifact를 사용해 RTX 2080 Ti의 제한된 VRAM 안에 기본 모델과 MTP draft 가중치를 함께 적재했습니다.
