행렬 곱셈 프리
딥러닝 모델의 핵심 연산인 행렬 곱셈(Matrix Multiplication)을 가산이나 비트 연산으로 대체하는 아키텍처이다. 연산 복잡도를 획기적으로 낮춰 GPU 없이도 효율적인 추론과 학습이 가능하게 한다.
GPU 없이 CPU로만 학습한 4.1M 파라미터 3진법 모델의 놀라운 성능
CPU만으로 학습 완료? MatMul 없는 29M 파라미터 모델의 탄생
CPU로 40시간 만에 학습한 MatMul-free 모델의 등장