비탈릭 부테린의 자기 주권형 로컬 AI 및 보안 LLM 설정 (2026년 4월)

섹션별 상세

클라우드 AI의 데이터 집중화에 따른 개인정보 유출 위험을 해결하기 위해 모든 LLM 추론을 로컬에서 수행하는 시스템을 구축했다. NVIDIA 5090(24GB) 노트북과 AMD Ryzen AI Max Pro(128GB) 하드웨어를 사용하여 Qwen3.5:35B 모델에서 실사용 가능한 수준인 50~90 tok/sec의 성능을 확보했다. 이는 개인의 데이터가 외부 서버로 전송되는 것을 원천 차단하여 프라이버시를 극대화한다.

근거

Qwen3.5:35B 모델은 5090 노트북에서 초당 90토큰의 속도를 낸다. — Hardware and LLMs 섹션의 성능 비교 테이블

NixOS 운영체제와 llama-server를 기반으로 모델 스왑이 용이한 llama-swap 환경을 구성하고, 'pi' 소프트웨어를 통해 LLM을 에이전트로 활용한다. 로컬에 위키피디아 덤프와 기술 문서를 저장한 world_knowledge 폴더를 구축하여 인터넷 검색 의존도를 낮추고 검색 기록 유출을 방지한다. 이를 통해 오프라인 환경에서도 지능적인 작업 수행이 가능하며 사용자 데이터 노출을 최소화한다.

LLM의 탈옥이나 악의적인 외부 입력에 의한 시스템 장악을 막기 위해 bubblewrap을 이용한 강력한 샌드박싱(Sandboxing)을 적용했다. sbox 명령어로 특정 디렉토리에 격리된 환경을 생성하여 LLM 프로세스가 허용되지 않은 파일이나 포트에 접근하는 것을 차단한다. 이는 에이전트가 자율적으로 동작할 때 발생할 수 있는 보안 사고를 물리적으로 제한하는 핵심 안전장치다.

근거

bubblewrap을 사용하여 LLM 실행 환경을 샌드박싱한다. — Sandboxing 섹션

Signal 및 이메일 연동 시 보안을 위해 직접 개발한 messaging-daemon을 사용하여 인간 승인 기반의 방화벽을 구축했다. 에이전트는 메시지 읽기와 본인에게 보내기만 자율적으로 수행할 수 있으며, 타인에게 메시지를 보낼 때는 반드시 인간의 수동 승인을 거치도록 설계했다. 이는 LLM이 피싱 공격에 속아 사용자 계정으로 스팸을 발송하거나 정보를 탈취하는 시나리오를 방어한다.

근거

Signal 및 이메일 연동 시 타인에게 보내는 메시지는 반드시 인간의 확인을 거쳐야 한다. — Connecting to chat applications 섹션의 messaging-daemon 설명

로컬 AI의 지능 한계를 극복하기 위해 ZK-API, Mixnets, TEE(신뢰 실행 환경)를 결합한 다층 방어 체계를 제안한다. 영지식 증명을 활용해 요청자의 신원을 숨기고, 믹스넷으로 IP 추적을 방지하며, 하드웨어 보안 영역 내 추론으로 데이터 유출을 방지하는 방식이다. 궁극적으로는 완전 동형 암호(FHE)를 통해 암호화된 상태에서의 추론을 목표로 하며, 로컬 모델이 민감 정보를 정제한 후 원격 모델에 질의하는 구조를 지향한다.

용어 해설

닉스OS(NixOS): — 선언적 구성 파일을 통해 시스템 전체 설정을 관리하는 리눅스 배포판이다. 전체 설정을 JSON과 유사한 파일로 명시하여 시스템 재현성과 복구가 매우 용이하며, 복잡한 AI 실험 환경을 안정적으로 구축하는 데 사용된다.
샌드박싱(Sandboxing): — 외부 프로그램이나 프로세스를 시스템의 나머지 부분으로부터 격리된 환경에서 실행하는 보안 기술이다. 에이전트가 악의적인 명령을 수행하더라도 격리된 디렉토리 외부의 파일이나 권한에 접근하지 못하도록 제한한다.
영지식 API(ZK-API): — 영지식 증명(Zero-Knowledge Proof)을 활용하여 사용자의 신원이나 요청 간의 연관성을 노출하지 않고 서버에 데이터를 요청하는 방식이다. 서버는 요청자가 누구인지 알 수 없으므로 프라이버시를 보호하면서 원격 LLM을 이용할 수 있다.
신뢰 실행 환경(TEE (Trusted Execution Environment)): — 메인 프로세서 내부에 격리된 하드웨어 보안 영역이다. 내부에서 실행되는 코드와 데이터는 외부 프로세스나 운영체제조차 엿볼 수 없으며, 실행 중인 프로그램의 무결성을 암호학적으로 증명(Attestation)할 수 있다.
완전 동형 암호(FHE (Fully Homomorphic Encryption)): — 데이터를 복호화하지 않고 암호화된 상태 그대로 연산을 수행할 수 있는 암호화 기술이다. 원격 서버에 데이터를 보낼 때 암호화된 상태로 보내고 결과값만 받아옴으로써 서버 운영자조차 데이터 내용을 알 수 없게 하는 궁극의 프라이버시 기술이다.

기술

Qwen 3.5
NixOS
llama-server
bubblewrap
SearXNG
Signal
ZK-API
TEE
FHE

활용 사례

보안이 강화된 개인용 AI 비서
프라이버시 보호형 인터넷 리서치
로컬 오디오 전사 및 요약
보안 격리된 프로그래밍 보조

언급된 리소스

GitHubmessaging-daemon GitHub

GitHubstable-diffusion.cpp