Xinity AI: 규제 산업을 위한 오픈소스 온프레미스 AI 플랫폼

섹션별 상세

클라우드 AI 도입의 가장 큰 장벽인 데이터 유출(Data Egress) 문제를 물리적으로 차단한다. 모든 데이터 처리가 기업 내부 인프라의 GPU 노드에서 완결되도록 설계되어 GDPR, 금융 비밀주의, 영업 비밀 보호법을 준수한다. 외부망과의 연결 없이도 모델 오케스트레이션과 API 서빙이 가능하다.

근거

Xinity는 OpenAI SDK 코드의 변경 없이 base_url 수정만으로 연동 가능하다. — Accessing a running instance 섹션의 OpenAI-compatible API 예시

상시 가동되는 AI 서비스에서 온프레미스 인프라가 클라우드보다 경제적인 '가동률 역전(Utilization Inversion)' 현상을 활용한다. 클라우드 과금 모델은 낮은 가동률을 전제로 하지만, 80-90% 가동률을 유지하는 AI 에이전트 환경에서는 전용 인프라 구축 시 비용을 80%까지 절감할 수 있다. 이는 규제 준수를 넘어 실질적인 경제적 이점을 제공한다.

근거

전용 온프레미스 인프라는 클라우드 대비 약 80%의 비용 절감을 제공한다. — Why Xinity exists 섹션의 Utilization Inversion 설명

단순한 모델 실행기를 넘어 기업 운영에 필요한 관리 계층을 통합했다. 역할 기반 액세스 제어(RBAC), SSO/SAML 인증, 조직별 테넌트 격리, 사용량 추적 및 감사 로그 기능을 제공한다. 이를 통해 Ollama나 vLLM 같은 개별 추론 엔진만으로는 부족했던 엔터프라이즈급 거버넌스를 구현한다.

Xinity 관리 대시보드 스크린샷 — ScreenshotAPI 호출 수, 토큰 사용량, 승인율, 학습 데이터 포인트 등 시스템 전반의 상태를 시각화하여 보여준다. 사용량 트렌드 차트와 응답 만족도 통계를 통해 운영 중인 모델의 성능과 비용을 실시간으로 모니터링할 수 있음을 확인시켜 준다.

게이트웨이, 대시보드, 데몬으로 구성된 분산 아키텍처를 통해 확장성을 확보한다. 게이트웨이는 OpenAI 호환 API 요청을 라우팅하고, 데몬은 각 GPU 노드에서 실제 추론 엔진을 관리하며 자동 스케일링을 수행한다. 모든 구성 요소는 Docker나 NixOS를 통해 손쉽게 배포 및 업데이트가 가능하다.

기술

Ollama
vLLM
SvelteKit
PostgreSQL
Redis
Bun
Drizzle ORM

활용 사례

규제 준수가 필요한 금융/의료 분야 AI 챗봇
영업 비밀 보호가 필수적인 제조 공정 최적화 AI
데이터 외부 유출이 금지된 공공기관 내부 업무 보조 도구

언급된 리소스

GitHubXinity AI GitHub Repository

문서Xinity Architecture Documentation