fp4
데이터를 4비트 정밀도로 표현하는 수치 형식이다. 기존 16비트나 8비트보다 메모리 사용량과 연산 비용을 획기적으로 줄여 모델의 학습 및 추론 속도를 높이는 데 기여하는 차세대 경량화 기법이다.
샘 알트만님, 다음 프로젝트는 슬랙입니다: OpenAI의 전략과 MiniMax M2.5의 충격적 가성비
AI 성능 10배 더 높일 수 있다? 하드웨어 한계론에 대한 반박