bf16
구글 브레인에서 개발한 16비트 부동소수점 형식으로, 기존 FP16보다 넓은 수 범위를 표현할 수 있어 딥러닝 학습 시 수치적 안정성이 높다. 최신 GPU에서 하드웨어적으로 지원된다.
비전 모델이 쓴 프롬프트로 뽑아낸 고전 할리우드 스타일의 정수
DeepSpeed로 멀티모달 학습 속도 30% 향상하고 메모리 40% 절감하기
700개 데이터로 Qwen 파인튜닝 성공할까? 최적의 LoRA 설정법