qpn
QPN
QPN은 압축된 FP4 또는 FP8 가중치를 HBM에서 읽은 뒤 작은 조각 단위로 Volta Tensor Core가 처리할 수 있는 FP16 레지스터 형식으로 직접 변환하는 커널입니다. 전체 모델을 먼저 FP16으로 펼치는 메모리 비용을 피합니다.
QPN
QPN은 압축된 FP4 또는 FP8 가중치를 HBM에서 읽은 뒤 작은 조각 단위로 Volta Tensor Core가 처리할 수 있는 FP16 레지스터 형식으로 직접 변환하는 커널입니다. 전체 모델을 먼저 FP16으로 펼치는 메모리 비용을 피합니다.
