w1.58a8
혼합 양자화 스킴 W1.58A8
W1.58A8은 혼합된 ternary, Q8, FP16 저장을 결합한 양자화 방식으로, PFor의 180.9M 파라미터를 약 44MiB에 배치한다. 이 저장 방식은 PSRAM과 Flash에 가중치를 분산해 보관하고 추론 시 필요한 부분을 빠르게 불러 오는 데 초점을 맞춘다. 낮은 비트폭 저장과 일부 FP16 혼용은 모델의 용량 대 성능 균형을 맞추는 역할을 한다.
혼합 양자화 스킴 W1.58A8
W1.58A8은 혼합된 ternary, Q8, FP16 저장을 결합한 양자화 방식으로, PFor의 180.9M 파라미터를 약 44MiB에 배치한다. 이 저장 방식은 PSRAM과 Flash에 가중치를 분산해 보관하고 추론 시 필요한 부분을 빠르게 불러 오는 데 초점을 맞춘다. 낮은 비트폭 저장과 일부 FP16 혼용은 모델의 용량 대 성능 균형을 맞추는 역할을 한다.
