허프만 코딩
데이터의 출현 빈도에 따라 가변 길이 부호를 할당하는 무손실 압축 알고리즘이다. 자주 등장하는 값에는 짧은 비트를, 드문 값에는 긴 비트를 할당하여 전체 데이터 크기를 줄이며, LLM 가중치의 지수(exponent) 분포가 매우 불균형하다는 점을 이용해 높은 압축률을 달성한다.