bitnet-b1-58
비트넷 b1.58
가중치를 -1, 0, 1의 세 가지 값으로만 표현하는 1.58비트 대형 언어 모델 아키텍처이다. 기존의 복잡한 부동 소수점 행렬 곱셈을 단순한 정수 가감산으로 대체하여 메모리 사용량과 에너지 소비를 10배 이상 절감하면서도 성능 손실을 최소화하는 것이 핵심이다.
비트넷 b1.58
가중치를 -1, 0, 1의 세 가지 값으로만 표현하는 1.58비트 대형 언어 모델 아키텍처이다. 기존의 복잡한 부동 소수점 행렬 곱셈을 단순한 정수 가감산으로 대체하여 메모리 사용량과 에너지 소비를 10배 이상 절감하면서도 성능 손실을 최소화하는 것이 핵심이다.