BitNet 소형 AI 모델을 로컬에서 실행하는 방법: 초보자 가이드

섹션별 상세

BitNet b1.58은 기존 모델을 압축하는 방식이 아니라 처음부터 -1, 0, 1의 ternary weight를 사용하도록 설계된 네이티브 저비트 언어 모델이다. 이를 통해 메모리 사용량과 계산 요구 사항을 획기적으로 줄이면서도 높은 성능을 유지한다.

BitNet의 성능 이점을 극대화하기 위해서는 전용 추론 엔진인 bitnet.cpp가 필수적이다. 표준 Transformers 라이브러리는 BitNet의 특수한 구조에 최적화되어 있지 않아 속도와 효율성 면에서 손해를 보기 때문에 C++ 기반의 최적화된 구현체를 사용해야 한다.

설치 과정은 Clang 컴파일러, CMake 빌드 시스템, Git 등 필수 개발 도구를 Linux에 설치하는 것으로 시작한다. LLVM 패키지를 통해 최신 Clang을 확보하고 시스템 패키지 관리자를 통해 빌드 환경을 조성한다.

bash

bash -c "$(wget -O - https://apt.llvm.org/llvm.sh)"
sudo apt update
sudo apt install clang cmake git

Linux 환경에서 BitNet 빌드를 위해 필요한 Clang 컴파일러와 CMake 등 필수 도구를 설치하는 과정

GitHub에서 BitNet 저장소를 클론한 후 Python 가상 환경을 구축하고 필요한 의존성을 설치한다. setup_env.py 스크립트를 실행하여 C++ 백엔드를 빌드하고 2B 파라미터 모델(BitNet-b1.58-2B-4T)을 설정하는 과정을 거친다.

bash

git clone --recursive https://github.com/microsoft/BitNet.git
cd BitNet
python -m venv venv
source venv/bin/activate
pip install -r requirements.txt

BitNet 공식 저장소를 클론하고 Python 가상 환경을 설정하여 의존성을 설치하는 단계

bash

python setup_env.py -md models/BitNet-b1.58-2B-4T -q i2_s

C++ 백엔드를 빌드하고 2B 파라미터 모델을 설정하는 실행 명령어

bash

sed -i 's/^\([[:space:]]*\)int8_t \* y_col/\1const int8_t * y_col/' src/ggml-bitnet-mad.cpp

빌드 과정 중 발생할 수 있는 포인터 타입 관련 컴파일 오류를 수정하는 sed 명령어

모델은 로컬 추론에 최적화된 GGUF 형식으로 제공되며 Hugging Face CLI를 통해 다운로드할 수 있다. 2B 파라미터 모델임에도 불구하고 저비트 양자화 덕분에 파일 크기가 약 1.19GB 수준으로 작아 일반 PC에서도 부담 없이 실행 가능하다.

bash

hf download microsoft/BitNet-b1.58-2B-4T-gguf --local-dir models/BitNet-b1.58-2B-4T

Hugging Face CLI를 사용하여 GGUF 형식의 2B 파라미터 BitNet 모델을 로컬로 다운로드하는 방법

용어 해설

비트넷(BitNet): — Microsoft 연구진이 개발한 1.58비트 대형 언어 모델 아키텍처이다. 가중치를 -1, 0, 1의 세 가지 값(ternary)으로만 표현하여 행렬 곱셈 연산을 단순 덧셈으로 대체함으로써 연산 효율과 메모리 절감 효과를 극대화한다.
3진 가중치(Ternary Weights): — 데이터를 -1, 0, 1의 세 가지 상태로만 저장하는 방식이다. 일반적인 부동 소수점 방식보다 정밀도는 낮지만, 모델 크기를 획기적으로 줄이고 하드웨어 가속기에서 매우 빠른 추론 속도를 구현할 수 있게 한다.
GGUF: — llama.cpp 프로젝트에서 제안한 모델 파일 형식으로, CPU 및 GPU에서 효율적인 로컬 추론을 지원한다. 모델 가중치와 메타데이터를 하나의 파일에 담아 배포와 로드가 용이하도록 설계되었다.
씨메이크(CMake): — 소프트웨어 빌드를 자동화하는 오픈 소스 도구이다. 운영체제나 컴파일러에 독립적인 설정 파일을 사용하여 복잡한 C++ 프로젝트의 컴파일 과정을 관리하고 실행 파일을 생성하는 역할을 한다.