4비트 부동소수점 학습
매우 낮은 4비트 정밀도의 수치 표현을 사용하여 모델을 학습시키는 기법이다. 하드웨어의 연산 처리량을 극대화할 수 있으나, 수치적 불안정성을 극복하기 위한 고도의 최적화 기술이 필요하다.
"NVIDIA는 왜 수천억 원을 들여 오픈 모델을 배포할까?" 브라이언 카탄자로가 밝힌 Nemotron의 비