fp16-bf16

논문은 FP16이나 BF16을 '풀-프리시전' 비교 대상으로 제시하면서 BitNet b1.58이 동일 모델 크기와 학습 토큰 조건에서 이들 저정밀 부동소수점 표현과 혼란도와 최종 성능 면에서 맞먹는다고 기술합니다. 따라서 본문은 BitNet의 성능을 기존의 FP16/BF16 기반 Transformer LLM과 직접 비교하는 근거로 사용합니다. 이 비교는 저정밀화가 성능 저하 없이 비용 절감으로 이어질 수 있음을 보여주는 핵심 근거로 자리합니다.