삼진 가중치
가중치를 -1, 0, +1의 세 가지 값으로만 표현하는 양자화 기법이다. 메모리 사용량을 크게 줄이고 연산을 단순화하여 하드웨어 효율성을 극대화한다.
GPU 없이 CPU로만 학습한 4.1M 파라미터 3진법 모델의 놀라운 성능
CPU만으로 학습 완료? MatMul 없는 29M 파라미터 모델의 탄생
CPU로 40시간 만에 학습한 MatMul-free 모델의 등장