Local LLM Proxy: P2P 기반의 로컬 LLM 공유 및 크레딧 시스템

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

Local LLM Proxy는 로컬 환경이나 사설망(LAN)에 제한된 LLM을 공용 인터넷으로 연결해주는 오픈소스 브릿지 도구입니다. 인바운드 포트를 열지 않고도 아웃바운드 WebSocket 연결을 통해 VPS에 로컬 모델을 등록하고, 이를 OpenAI 호환 API 형태로 외부에 노출할 수 있습니다. 사용자는 자신의 유휴 자원을 공유하여 크레딧을 얻고, 이를 다른 모델 사용에 소비하는 P2P 경제 구조를 가집니다. 업스트림 API 키는 로컬 에이전트에만 저장되어 보안을 유지하며, 가동 시간과 지연 시간을 기준으로 품질 점수를 산정해 보상을 차등화합니다.

배경

Docker 및 Docker Compose 사용법, Python 환경 및 pip 패키지 관리, OpenAI API 프로토콜에 대한 이해

대상 독자

로컬 GPU 자원을 효율적으로 공유하고 싶거나 사설망 LLM을 외부에서 안전하게 호출하려는 개발자

의미 / 영향

중앙 집중형 API 서비스에서 벗어나 개인과 소규모 조직이 컴퓨팅 자원을 서로 공유하는 탈중앙화된 LLM 추론 네트워크의 가능성을 보여줍니다. 특히 비용 효율적인 모델 아비트리지(Arbitrage)를 통해 API 비용 부담을 낮추는 대안이 될 수 있습니다.

섹션별 상세

사설망에 위치한 LLM을 외부 인바운드 포트 개방 없이 안전하게 공용 인터넷에 노출할 수 있습니다. 경량화된 llm-agent가 VPS로 아웃바운드 WebSocket 연결을 먼저 시도하여 방화벽 문제를 해결하고 연결을 유지합니다. 이를 통해 외부 클라이언트는 VPS의 통합 엔드포인트를 통해 로컬 모델에 접근할 수 있습니다.

토큰 공유를 기반으로 하는 P2P 크레딧 경제 시스템을 도입하여 자원 활용을 최적화합니다. 사용자가 제공한 출력 토큰 수에 모델별 기여율과 품질 가중치를 곱하여 크레딧을 정산하며, 적립된 크레딧은 다른 시점이나 다른 모델을 사용하는 데 소비할 수 있습니다. 기여율이 소비율보다 높게 설계되어 장기 기여자가 혜택을 받는 구조입니다.

업스트림 LLM의 인증 정보가 프록시 서버에 저장되지 않도록 설계되어 프라이버시를 보호합니다. API 키는 로컬 에이전트 설정 파일에만 머물며 에이전트와 로컬 LLM 사이의 통신에만 사용됩니다. VPS 서버는 오직 에이전트 등록을 위한 워커 키와 클라이언트 호출을 위한 사용자 API 키만 관리합니다.

다양한 노드와 모델을 하나의 OpenAI 호환 API 엔드포인트 뒤로 통합하여 관리할 수 있습니다. 여러 워커가 제공하는 서로 다른 모델들이 /v1/chat/completions 경로로 집약되어 사용자는 단일 베이스 URL만으로 멀티 노드 풀을 활용하게 됩니다. 서버는 요청을 적절한 워커로 라우팅하고 스트리밍 응답을 클라이언트에게 다시 전달합니다.

실무 Takeaway

보안 정책상 외부 노출이 어려운 사내망 LLM을 WebSocket 기반 아웃바운드 연결을 통해 외부 서비스와 연동할 수 있습니다.
유휴 GPU 자원을 타인에게 공유하고 받은 크레딧으로 유료 API나 타 모델을 이용하는 자원 스왑(Swap) 모델을 구축할 수 있습니다.
OpenAI SDK나 LangChain 등 기존 라이브러리의 base_url만 변경하여 즉시 P2P 모델 풀을 프로덕션에 적용 가능합니다.

언급된 리소스

GitHubLocal LLM Proxy GitHub Repository

문서Design Document