일반 CPU 하나로 100B 모델을 돌리는 1비트 LLM 전용 추론 엔진
AI Tool·Python0 / 0
1비트 LLM(BitNet b1.58)의 고속·저전력 추론을 위해 최적화된 전용 커널 기반 프레임워크입니다.
주요 기능
- ARM/x86 CPU 환경에서 기존 대비 1.37배에서 6.17배의 추론 속도 향상을 제공함
- 에너지 소비량을 하드웨어 플랫폼에 따라 55.4%에서 최대 82.2%까지 절감함
- 100B 파라미터 규모의 BitNet b1.58 모델을 단일 CPU에서 초당 5-7개 토큰 속도로 실행함
- python setup_env.py -md [모델경로] -q i2_s 명령어로 환경 구축 및 양자화 설정을 자동화함
- Hugging Face의 .safetensors 체크포인트를 GGUF 형식으로 변환하는 헬퍼 스크립트를 제공함
사용 사례
- 고성능 GPU가 없는 로컬 PC 또는 엣지 디바이스에서 거대 언어 모델을 구동하는 상황
- LLM 서비스 운영 시 전력 소모를 최소화하여 인프라 유지 비용을 절감해야 하는 경우
- 1비트 양자화 모델의 추론 성능을 연구하거나 실제 서비스 적용 가능성을 검토할 때
34.5k
Stars
2.9k
Forks
+1.4k
Trending
0
조회수
34.5k watchers258 open issues
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.