TL;DR

Jarvis는 Ollama 또는 OpenAI 호환 로컬 서버와 연동해 완전 로컬에서 음성 기반 비서를 실행하도록 설계된 프로젝트로, 민감 정보 자동 마스킹·무제한 메모·MCP를 통한 툴 통합을 핵심 가치로 삼고 있습니다. 음성 인식은 Whisper 계열 모델을 사용하며 Dictation 모드와 Piper TTS를 기본 제공해 오프라인 전사·합성 워크플로우를 낮은 지연으로 구현할 수 있습니다. 시스템 요구가 범위별로 문서화되어 있어 2GB VRAM급 경량부터 24GB급 대형 모델까지 목표 하드웨어에 맞춰 구성 가능하며, macOS 우선 개발로 Windows/Linux 지원이 상대적으로 뒤처질 수 있다는 점을 고려해야 합니다. 개인 정보 보호와 로컬 실행을 최우선으로 하며 음성 중심의 데스크톱 자동화나 스마트홈·GitHub 연동 같은 MCP 활용이 주 목적이라면 시도해볼 만한 선택입니다.

핵심 포인트

• 완전 로컬 처리와 자동 민감정보 마스킹을 우선으로 설계되어 사용자의 음성·대화 데이터가 외부로 전송되지 않도록 구성되어 있습니다. 기본 LLM 공급자로 Ollama를 권장하며 OpenAI 호환 로컬 서버(LM Studio, Jan, llama.cpp 등)를 연결해도 같은 로컬 범위에서 작동하도록 설정할 수 있습니다. 이 구조는 구독이나 클라우드 의존 없이 개인 정보 보존이 핵심인 워크플로우에서 의미가 큽니다.
• 대화형 컨텍스트 추적과 무제한 메모리 기능을 통해 대화를 잇는 음성 인터랙션을 지원하고, 지식 그래프 기반의 메모리 뷰어로 관련 정보를 자동으로 소환합니다. 작은 모델에서는 memory digest와 tool-result digest라는 경량 요약 패스를 넣어 프롬프트 폭주를 방지하며, 툴 호출 결과를 요약해 메인 모델로 흘려보내는 방식으로 안정성을 높입니다. 이런 설계는 로컬의 저용량 모델을 쓰면서도 장기 기억과 도구 호출 신뢰성을 확보하려는 사용 사례에 적합합니다.
• MCP(Model Context Protocol) 서버를 통한 확장성이 핵심 설계로, Home Assistant, GitHub, Google Workspace, Notion, Slack, Discord 같은 외부 도구를 로컬에서 유지되는 stdio 세션으로 연결합니다. 각 MCP는 세션 지속성·타임아웃·idle timeout 같은 설정을 통해 상태 유지가 가능한 툴 자동화 작업을 안정적으로 수행하며, 도구 라우팅은 빠른 모델로 필터링해 메인 모델의 입력을 축소합니다. 외부 서비스와 연동해 음성으로 스마트홈 제어·레포지토리 조작·캘린더 확인 등을 로컬 환경에서 수행하려는 개발자에게 즉시 활용 가능한 통합 경로를 제공합니다.
• 음성 인식 및 합성 관련해 Whisper 기반 오프라인 인식과 Piper 기본 TTS를 내장하며, Dictation 모드는 WisprFlow 대체제로 작동합니다. Whisper 모델 선택(예: medium, medium.en)과 필터링 임계값을 설정해 잡음이나 환각 전사를 줄일 수 있고, macOS에서는 CUDA 가속·윈도우 인스톨러 옵션 등 플랫폼별 가속 경로가 문서화되어 있습니다. 이 구성은 음성 중심 인터페이스를 로컬에서 낮은 지연으로 구현하려는 환경에 실용적입니다.

이미지 분석