Tri-quant

Tri-quant는 하나의 모델에 세 가지 양자화 형식을 함께 적용하는 구성입니다. 이 게시물에서는 nvfp4, mxfp6, mxfp8을 조합해 모델 가중치와 관련 구성요소의 메모리 사용량 및 실행 속도를 조정하는 방식으로 쓰였습니다.