Raspberry Pi 5에서의 LLM 성능 벤치마크: 0.8B부터 122B 모델까지

실용적 조언

Raspberry Pi에서 LLM을 구동할 때는 반드시 액티브 쿨러를 장착하여 스로틀링을 방지해야 한다.
RAM 용량을 초과하는 모델을 테스트하려면 SD 카드 대신 USB 3.0 이상의 SSD에 스왑 파일을 설정해야 성능 저하를 최소화할 수 있다.

섹션별 상세

SSD 스왑을 통한 메모리 한계 극복을 시도했다. 16GB RAM을 초과하는 대형 모델을 실행하기 위해 SD 카드의 기본 스왑을 비활성화하고 USB SSD에 대용량 스왑 파티션을 설정했다. 모델이 RAM과 스왑 영역에 로드된 이후에는 데이터 소스보다 CPU 연산 능력이 중요해지며, 이를 통해 122B 크기의 모델까지 로드 및 실행이 가능함을 확인했다.

bash

$ hdparm -t --direct /dev/sda2
/dev/sda2:
 Timing O_DIRECT disk reads: 1082 MB in 3.00 seconds = 360.18 MB/sec

USB로 연결된 SSD의 읽기 성능을 측정하여 스왑 파일의 잠재적 병목을 확인하는 코드

bash

$ swapon --show
NAME TYPE SIZE USED PRIO
/dev/sda3 partition 453.9G 87.6M 10

대형 모델 로드를 위해 SSD에 설정된 약 454GB 규모의 스왑 파티션 상태를 확인하는 코드

모델 크기에 따른 추론 속도(t/s)의 급격한 변화가 관찰됐다. Qwen 2.5 0.8B 모델은 초당 11.51토큰의 실용적인 속도를 보였으나, 122B MoE 모델은 초당 0.17토큰으로 매우 느리게 작동했다. Gemma 3 12B 모델은 Q8_0 양자화 상태에서 초당 1.00토큰을 기록하며 16GB RAM 환경에서 실용적으로 시도해볼 수 있는 최대 임계치임을 보여주었다.

컨텍스트 깊이가 성능 저하에 미치는 영향을 분석했다. 32k 컨텍스트 깊이에서 벤치마크를 수행한 결과, Qwen 2.5 0.8B 모델의 생성 속도가 0 컨텍스트 대비 약 50% 수준인 5.52 t/s로 하락했다. 이는 컨텍스트가 길어질수록 메모리 대역폭과 CPU 연산 부하가 가중되어 저사양 하드웨어에서 성능 유지가 어려움을 시사한다.

하드웨어 부하와 온도 사이의 상관관계를 확인했다. RAM에 완전히 들어가는 소형 모델 실행 시 CPU 온도는 약 70°C까지 상승했으나, 스왑을 사용하는 대형 모델에서는 오히려 50°C 수준으로 낮게 유지됐다. 이는 CPU가 데이터를 스왑에서 읽어오는 동안 대기 상태(I/O wait)에 머물며 코어당 부하가 25-50% 수준으로 제한되었기 때문이다.

용어 해설

스왑 파일(Swap File): — 물리적 RAM 용량이 부족할 때 하드 드라이브나 SSD의 일부 공간을 메모리처럼 사용하는 가상 메모리 기술이다. 본문에서는 16GB RAM의 한계를 넘기 위해 SSD에 대용량 스왑을 설정하여 122B 모델을 로드하는 데 활용했다.
양자화(Quantization): — 모델의 가중치 데이터를 낮은 비트(예: 8비트, 4비트)로 변환하여 메모리 점유율을 낮추고 연산 속도를 높이는 기법이다. 본문에서는 품질 유지를 위해 비교적 높은 정밀도인 Q8_0 형식을 사용하여 벤치마크를 수행했다.
전문가 혼합 모델(MoE): — 전체 파라미터 중 추론 시 일부만 활성화하여 연산 효율을 극대화하는 아키텍처이다. Qwen 2.5 122B-A10B와 같은 대형 모델이 이 구조를 채택하여 Raspberry Pi와 같은 저사양 기기에서도 느리지만 실행이 가능하다.
라마 벤치(llama-bench): — llama.cpp 라이브러리에서 제공하는 성능 측정 도구로, 모델의 프롬프트 처리 속도와 토큰 생성 속도를 측정한다. 다양한 컨텍스트 깊이와 스레드 설정에 따른 하드웨어의 추론 성능을 객관적으로 비교할 수 있다.

언급된 도구

llama.cpp추천

LLM 추론 및 벤치마크 실행 엔진

hdparm중립

디스크 읽기 성능 측정 도구