Raspberry Pi 5용 AI HAT+ 2 출시: 40 TOPS 성능과 8GB 온보드 메모리 탑재

섹션별 상세

새로운 AI HAT+ 2는 Hailo-10H 가속기를 통해 이전 모델보다 향상된 40 TOPS의 추론 성능을 제공합니다. 기존 AI HAT+의 26 TOPS 대비 성능이 향상되었으며, 특히 대규모 언어 모델(LLM)과 비전 언어 모델(VLM) 가속에 최적화되었습니다. 이를 통해 에지 디바이스에서도 복잡한 생성형 AI 애플리케이션을 구동할 수 있는 연산 능력을 확보했습니다.

근거

AI HAT+ 2는 INT4 기준 40 TOPS의 추론 성능을 제공한다. — 본문 첫 번째 문단 및 사양 설명 섹션

8GB의 온보드 RAM을 탑재하여 Raspberry Pi 본체의 시스템 메모리를 점유하지 않고도 AI 모델을 실행할 수 있습니다. AI 애플리케이션의 높은 메모리 요구량을 충족하기 위해 전용 메모리를 제공함으로써 호스트 시스템의 안정성을 높였습니다. 다만 16GB RAM을 탑재한 Pi 5 모델이 이미 존재한다는 점에서 전용 메모리의 실질적 효용성에 대한 논의도 존재합니다.

하드웨어는 Raspberry Pi 5의 PCIe 인터페이스를 통해 연결되며 표준 GPIO 커넥터를 사용합니다. 높은 연산 성능으로 인해 발생하는 열을 관리하기 위해 패시브 히트싱크가 옵션으로 제공되며, 액티브 쿨러와 함께 장착할 수 있는 스페이서와 나사가 포함됩니다. 소프트웨어 측면에서는 Raspberry Pi OS에서 기본 지원되며 rpicam-apps와 호환되어 즉시 사용 가능합니다.

Raspberry Pi 5 위에 장착된 AI HAT+ 2 하드웨어 보드의 모습 — Photo보드 중앙에 Hailo-10H 칩셋과 8GB 메모리 모듈이 배치되어 있으며, Raspberry Pi 5의 GPIO 및 PCIe 슬롯과 연결된 물리적 구조를 보여줍니다. 하드웨어의 크기와 부품 배치를 통해 실제 장착 시의 부피와 쿨링 솔루션 필요성을 짐작할 수 있게 합니다.

출시 시점에 DeepSeek-R1-Distill, Llama 3.2, Qwen2.5 등 약 15억 개의 파라미터를 가진 모델들을 지원합니다. 비록 수천억 개의 파라미터를 가진 클라우드 기반 모델에 비하면 규모가 작지만, 로컬 에지 환경의 제약 내에서는 충분히 실용적인 성능을 보여줍니다. 향후 업데이트를 통해 더 큰 규모의 모델 지원이 추가될 예정입니다.

근거

DeepSeek-R1-Distill, Llama 3.2, Qwen2.5 등의 모델을 출시 시점에 지원한다. — 본문 하단 모델 지원 목록 섹션

기술

Raspberry Pi 5
Hailo-10H
DeepSeek-R1-Distill
Llama 3.2
Qwen2
Ollama
Docker

활용 사례

로컬 챗봇 및 AI 비서
실시간 객체 인식 및 분석
오프라인 텍스트 생성 및 요약
에지 기반 비전 언어 모델 응용

언급된 리소스

문서Raspberry Pi AI HAT+ 2