본문으로 건너뛰기

int4-weights

int4 가중치

int4 가중치는 모델 파라미터를 4비트 정밀도로 양자화해 저장 공간을 크게 줄인 형식이다. 이 프로젝트는 int4 아티팩트를 fp32로 디퀀타이즈해 C 런타임과 약 1e-5 수준의 오차로 검증하여 동일 동작을 확보했다. 제한된 플래시 용량에서 모델을 운용하면서 정확도를 유지하는 실무적 타협이다.