본문으로 건너뛰기

MXFP6

MXFP6 양자화

MXFP6는 모델 데이터를 6비트 계열 형식으로 저장하는 양자화 방식입니다. 게시물 작성자는 nvfp4보다 실제 테스트에서 더 빠르게 실행된다는 이유로 MXFP6를 주력 형식으로 선택했고, DFlash와 KV cache에도 적용했습니다.