Pi-LLM: 라즈베리 파이 4에서 구동되는 로컬 AI 서버

섹션별 상세

라즈베리 파이 4의 한정된 자원에서 LLM을 구동하기 위해 1비트 양자화 기술을 적용했다. PrismML의 Bonsai 모델은 사후 압축이 아닌 처음부터 1비트로 학습되어 0.25GB에서 0.57GB 사이의 매우 적은 메모리만 점유한다. 이를 통해 4GB RAM 모델에서도 시스템 부하 없이 고품질의 텍스트 생성이 가능하다. 하드웨어 제약을 극복하고 로컬 환경에서 개인화된 AI를 운영할 수 있는 기반을 마련했다.

근거

Bonsai 4B 모델은 0.57GB, 1.7B 모델은 0.25GB의 RAM만 사용한다. — Why Bonsai? 섹션 및 Architecture 다이어그램 설명

네트워크 보안과 접근 편의성을 위해 Caddy와 UFW 방화벽을 결합한 아키텍처를 채택했다. 외부 기기에서 HTTPS로 접속하면 Caddy가 요청을 받아 내부의 llama-server로 전달하며, 직접적인 포트 접근은 방화벽으로 차단한다. 모든 통신은 자기 서명 TLS 인증서로 암호화되어 로컬 네트워크 내 데이터 유출을 방지한다. 이는 공용 인터넷 연결 없이도 안전한 개인용 AI 비서를 구축할 수 있게 한다.

근거

Caddy를 통해 HTTPS 통신을 지원하고 UFW로 포트 8000 직접 접근을 차단한다. — Architecture 및 Security 섹션

효율적인 자원 관리를 위해 온디맨드 모델 로딩 및 LRU 교체 방식을 구현했다. Bonsai 4B와 1.7B 모델 중 사용자가 UI에서 선택한 활성 모델만 RAM에 로드되며, 모델 전환 시 기존 모델은 메모리에서 해제된다. 실제 테스트 결과 모델 크기에 따라 0.25GB에서 0.57GB의 RAM만 사용하므로 시스템 안정성이 높다. 제한된 하드웨어에서 여러 모델을 유연하게 교체하며 사용할 수 있는 최적화된 구조를 보여준다.

bash

ssh [email protected]
scp -r pi-llm/ [email protected]:~/pi-llm/
cd ~/pi-llm
sudo bash scripts/01-os-setup.sh

라즈베리 파이에 접속하여 프로젝트 파일을 복사하고 초기 OS 설정을 실행하는 과정

용어 해설

1비트 양자화(1-bit Quantization): — 모델의 가중치를 단 1비트로 표현하여 메모리 사용량을 극단적으로 줄이는 기술이다. 일반적인 모델이 2-7GB의 RAM을 요구하는 것과 달리, 1비트 모델은 1GB 미만의 메모리에서도 동작 가능하여 라즈베리 파이 같은 저사양 기기에서 LLM을 구동할 수 있게 한다.
최근 최소 사용 페이지 교체(LRU Eviction): — 가장 오랫동안 사용되지 않은 데이터를 메모리에서 제거하고 새로운 데이터를 로드하는 메모리 관리 기법이다. 이 프로젝트에서는 여러 모델 중 현재 활성화된 모델만 RAM에 유지하고, 모델 전환 시 기존 모델을 메모리에서 해제하여 한정된 자원을 효율적으로 관리한다.
자기 서명 인증서(Self-signed Certificate): — 공인된 인증 기관 대신 서버 운영자가 직접 서명하여 발행한 SSL/TLS 인증서이다. 로컬 네트워크 내에서 HTTPS 통신을 암호화하는 데 사용되지만, 브라우저에서 신뢰할 수 없는 인증서 경고가 발생할 수 있어 주로 내부 테스트나 개인용 프로젝트에 활용된다.

기술

Raspberry Pi 4
PrismML Bonsai
Caddy
UFW
Python
Shell

활용 사례

개인용 로컬 챗봇 서버
저전력 AI API 엔드포인트 구축
학습용 AI 인프라 구성

언급된 리소스

GitHubPi-LLM GitHub Repository