FairyFuse: 융합형 터너리 커널을 통한 CPU 기반 곱셈 없는 LLM 추론

섹션별 상세

메모리 대역폭 제한이 있는 CPU 환경에서 기존의 양자화 가중치 복원 방식은 연산 효율을 저해하는 주요 원인이었다. FairyFuse는 터너리 가중치 구조를 직접 활용하여 부동소수점 곱셈을 완전히 제거하고 조건부 연산으로 대체하는 방식을 채택했다. 이를 통해 16배의 가중치 압축 효과를 얻었으며 메모리 중심의 병목 현상을 연산 영역으로 전이시켜 커널 속도를 최대 29.6배 향상시켰다. 결과적으로 범용 CPU에서도 고성능 LLM 추론이 가능한 기술적 토대를 마련했다.

AVX-512 명령어 세트를 활용해 8개의 실수 값 하위 GEMV 연산을 단일 루프로 융합하는 기술이 핵심이다. 마스크 기반 가산과 감산을 사용하여 가중치가 0인 경우 연산을 건너뛰고 나머지 값들만 효율적으로 처리하는 구조를 구현했다. 이 과정에서 부동소수점 곱셈을 전혀 사용하지 않으면서도 연산 정밀도를 유지하는 데 성공했다. 이러한 융합 커널 설계는 CPU의 벡터 연산 장치를 최적으로 활용하여 처리량을 극대화한다.

성능 측정 결과 FairyFuse는 WikiText-2 데이터셋에서 FP16 모델과 유사한 수준의 Perplexity를 기록하며 높은 정확도를 유지했다. Intel Xeon 8558P 단일 프로세서 환경에서 초당 32.4개의 토큰을 생성하는 성능을 보였으며 이는 널리 사용되는 llama.cpp의 4비트 양자화 모델보다 우수한 수치이다. 다운스트림 작업에서도 66.0%의 정확도를 달성하여 경량화와 성능 사이의 균형을 성공적으로 확보했음이 확인됐다.

기술

AVX-512
Intel Xeon 8558P
llama.cpp

활용 사례

GPU가 없는 서버 환경에서의 LLM 추론 서비스
메모리 대역폭이 제한된 시스템에서의 모델 배포
저지연 토큰 생성이 필요한 CPU 기반 챗봇 서비스

언급된 리소스

논문FairyFuse: Multiplication-Free LLM Inference on CPUs via Fused Ternary Kernels