ufp4
UFP4 레시피
Uniform Grid 기반의 4-bit FP4 훈련 레시피로, three GEMMs(FPROP, DGRAD, WGRAD) 모두에 RHT를 적용하고 dY에만 SR을 적용한다. Dense 1.5B, MoE 7.9B, MoE 124B에서 BF16-relative 손실 감소를 보인다.
중급
UFP4 레시피
Uniform Grid 기반의 4-bit FP4 훈련 레시피로, three GEMMs(FPROP, DGRAD, WGRAD) 모두에 RHT를 적용하고 dY에만 SR을 적용한다. Dense 1.5B, MoE 7.9B, MoE 124B에서 BF16-relative 손실 감소를 보인다.
