FairyFuse: 융합형 터너리 커널을 통한 CPU 기반 곱셈 없는 LLM 추론

FairyFuse는 메모리 대역폭이 병목인 CPU 환경에서 LLM 추론 효율을 극대화하기 위해 설계된 혁신적인 추론 시스템이다. 기존 시스템이 4비트 이하 양자화 모델에서도 가중치를 복원하여 부동소수점 곱셈을 수행하는 것과 달리, 이 시스템은 {-1, 0, +1}의 터너리 가중치를 활용해 곱셈을 조건부 가산 및 감산으로 대체한다. AVX-512 루프 내에서 8개의 하위 GEMV 연산을 하나로 융합하여 실행함으로써 불필요한 메모리 접근과 연산 오버헤드를 최소화했다. 실험 결과 Intel Xeon 8558P 프로세서에서 초당 32.4개 토큰을 생성하며 기존 llama.cpp Q4_K_M 방식보다 1.24배 빠른 성능과 FP16 대비 거의 손실 없는 품질을 입증했다.