섹션별 상세
BF16 포맷으로 저장된 LLM 가중치는 할당된 16비트 중 약 10.6비트의 정보량만 포함하고 있어 전체의 33%가 낭비되는 슬랙(Slack) 상태이다. 분석 결과 부호 비트와 가수부(Mantissa)는 거의 완벽하게 사용되지만, 8비트가 할당된 지수부(Exponent)는 실제 2.6비트 정도의 엔트로피만 운반하고 있다. 이는 모델의 가중치 크기가 2^-7에서 2^-6 사이의 매우 좁은 범위에 집중되어 있어 지수부의 표현력을 다 쓰지 못하기 때문이다.
근거
- BF16 가중치는 할당된 16비트 중 약 10.6비트의 엔트로피만 운반하며, 1/3의 예산이 낭비된다. — Baseline: 16 bits per weight 섹션의 첫 번째 문단
- 모든 훈련된 모델의 가중치 크기는 2^-7과 2^-6 사이에서 날카로운 피크를 형성하는 좁은 단봉형 분포를 보인다. — Why the exponent? 섹션의 두 번째 문단 및 시각화 차트
모델의 크기나 학습 레시피와 상관없이 훈련된 모든 모델의 가중치 크기 분포는 놀라울 정도로 유사한 정규화된 곡선으로 수렴한다. Qwen, DeepSeek, Google 등 다양한 기관의 모델을 평균과 표준편차로 재조정하면 거의 동일한 분포를 보이는데, 이는 BF16 포맷이 실제 모델이 필요로 하는 것보다 훨씬 넓은 범위를 지원하도록 설계되었음을 의미한다. 이러한 보편적인 분포 특성 덕분에 특정 아키텍처에 구애받지 않고 공통적인 양자화 전략을 적용할 수 있다.
8비트 포맷인 FP8로 전환하면 비트 사용 효율이 BF16의 66%에서 80% 수준으로 상승하며 절대적인 낭비량이 줄어든다. FP8은 가수부의 정밀도를 낮춤으로써 전체 비트수를 줄이지만, 여전히 지수부의 슬랙은 완전히 제거하지 못한 채 약 6.5비트의 엔트로피를 유지한다. 이 단계까지는 모델의 가중치 분포가 포맷의 제약에 맞추어 변하지 않고 포맷이 분포를 수용하는 형태를 유지한다.
4비트 이하의 하위 바이트 포맷(MXFP4, INT4, NVFP4)에 도달하면 포맷의 제약이 모델의 가중치 분포를 직접적으로 변화시키기 시작한다. 4비트 포맷의 지수부는 2비트만 제공하는데 이는 모델이 요구하는 2.6비트보다 작기 때문에, 모델은 낮은 손실을 유지하기 위해 가중치 분포를 포맷에 맞춰 더 좁게 변형시킨다. 이 시점에서 비트 사용률은 약 93%까지 올라가며, 남은 미세한 낭비 비트는 대부분 블록 스케일(Scale) 값에 존재하게 된다.
근거
- 4비트 포맷(MXFP4, INT4, NVFP4)의 순수 엔트로피 사용률은 약 93%에 달한다. — Below the byte floor: 4 bits per weight 섹션의 마지막 문단
기술
- BF16
- FP8
- MXFP4
- INT4
- NVFP4
- DeepSeek-V3
- Qwen
활용 사례
- LLM 양자화 전략 수립
- 추론 엔진 메모리 최적화
- 저정밀도 모델 학습(QAT)
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 05. 05.수집 2026. 05. 05.출처 타입 RSS
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
