fp16
숫자를 16비트로 표현하는 부동 소수점 형식이다. FP32(단정밀도)보다 메모리를 절반만 사용하면서도 딥러닝 모델 학습 및 추론에 충분한 정밀도를 제공하여 널리 쓰인다.
2x RTX 3090으로 3B 모델 바닥부터 학습하기: 실현 가능한 도전일까?
86코어의 압도적 성능, 인텔 AI 개발 최적화 제온 600 칩 공개
내 컴퓨터에서 LLM 실행하기: FP16 모델을 GGUF로 양자화하는 실전 가이드