라즈베리 파이와 Phi-3를 활용한 오프라인 AI 사이버덱 프로젝트

실용적 조언

라즈베리 파이에서 로컬 LLM을 구동할 때는 Ollama와 Phi-3의 조합이 성능과 효율성 측면에서 권장된다.
오프라인 프로젝트 설계 시 Claude를 활용해 전체적인 코드 구조를 생성하고 하드웨어에 플래싱하는 워크플로우가 유효하다.

섹션별 상세

라즈베리 파이 환경에서 Phi-3 모델을 Ollama 추론 엔진을 통해 구동했다. 하드웨어 리소스의 한계로 인해 AI 아바타의 응답 속도는 약 5초 정도 소요되는 것으로 나타났다. 이는 저전력 임베디드 기기에서 로컬 LLM을 실행할 때 발생하는 전형적인 지연 시간이다.

AI 에이전트가 사용자 인터페이스(UI) 내의 모든 요소에 접근할 수 있도록 설계했다. 사용자가 자연어 명령을 내리면 AI가 직접 Meshtastic 앱을 열지 않고도 메시지를 전송하는 등 도구 사용(Tool Use) 능력을 보여준다. 이를 통해 복잡한 조작 없이 음성이나 텍스트만으로 오프라인 기능을 제어한다.

사이버덱의 사용자 인터페이스 화면 스크린샷 — ScreenshotAI 콘솔, 메쉬태스틱, 지도, 라디오 등 장치의 주요 기능 메뉴가 포함된 UI를 보여준다. 상단에는 'MAJOR ONLINE'이라는 문구와 함께 AI 아바타 상태가 표시되어 에이전트 중심의 시스템 구조를 확인할 수 있다.

오프그리드 환경에 최적화된 다양한 오프라인 기능을 통합했다. 인터넷 연결 없이도 오프라인 지도 확인, 무선 라디오 통신, MP3 재생, 환경 센싱 데이터 수집 및 고전 게임 실행이 가능하다. 모든 소프트웨어 로직은 Claude를 활용해 작성되었으며 라즈베리 파이에 직접 플래싱되었다.

용어 해설

사이버덱(Cyberdeck): — 공상과학 소설에서 유래한 개념으로, 주로 라즈베리 파이와 같은 소형 컴퓨터를 활용해 휴대용으로 제작한 커스텀 컴퓨팅 장치이다. 이 프로젝트에서는 오프라인 환경에서 AI와 통신 기능을 수행하는 하드웨어 본체를 의미한다.
메쉬태스틱(Meshtastic): — 중앙 집중식 서버나 인터넷 연결 없이도 장거리 무선 통신을 가능하게 하는 오픈소스 메쉬 네트워크 프로토콜이다. 오프라인 환경에서 텍스트 메시지 전송이나 위치 공유를 위해 사용된다.
오프그리드(Off-grid): — 전기, 가스, 수도, 인터넷 등 공공 기간망에 연결되지 않은 독립적인 상태를 의미한다. 본 프로젝트에서는 외부 네트워크 연결 없이 로컬 환경에서 모든 AI 추론과 기능을 수행하는 것을 목표로 한다.

언급된 도구

Ollama추천

로컬 환경에서의 LLM 추론 및 서빙 엔진

Phi-3추천

저사양 기기에 최적화된 경량 언어 모델

Meshtastic추천

오프라인 메쉬 네트워크 통신 프로토콜