Xybrid: 앱과 게임에서 LLM, ASR, TTS를 네이티브로 실행하는 Rust 기반 런타임

섹션별 상세

Xybrid는 Rust로 작성된 코어 런타임을 기반으로 하며, 모든 플랫폼에서 동일한 모델 지원과 동작을 보장하는 네이티브 바인딩을 제공한다. Flutter, Unity, Kotlin, Swift, Rust 등 다양한 환경을 지원하여 개발자가 선호하는 언어로 온디바이스 AI를 구축할 수 있다. 각 SDK는 동일한 Rust 코어를 래핑하므로 플랫폼 간 일관된 성능과 결과를 얻을 수 있다.

dart

final model = await Xybrid.model('kokoro-82m').load();
final result = await model.run(XybridEnvelope.text('Hello world'));
// result → 24kHz WAV audio

Flutter SDK를 사용하여 단일 TTS 모델을 로드하고 실행하는 예시

단일 모델 실행뿐만 아니라 여러 모델을 연결하는 '파이프라인 오케스트레이션' 기능을 지원한다. 예를 들어 Whisper(ASR), Qwen(LLM), Kokoro(TTS)를 YAML 설정으로 묶어 음성 비서 기능을 하나의 호출로 처리할 수 있으며, 이는 복잡한 AI 워크플로우를 단순화한다. 현재 Flutter와 Rust SDK에서 파이프라인 기능을 우선적으로 지원하며 다른 플랫폼으로 확대 중이다.

yaml

name: voice-assistant
stages:
  - model: whisper-tiny # Speech → text
  - model: qwen2.5-0.5b # Process with LLM
  - model: kokoro-82m # Text → speech

ASR, LLM, TTS 모델을 연결하는 YAML 기반 파이프라인 설정 예시

rust

let pipeline = Xybrid::pipeline(&yaml_string).load()?;
pipeline.load_models()?;
let result = pipeline.run(&Envelope::audio(audio_bytes))?;

Rust SDK에서 정의된 파이프라인을 로드하고 오디오 입력을 처리하는 예시

개인정보 보호와 오프라인 작동을 최우선으로 설계되어 모든 추론이 기기 내에서 로컬로 수행된다. 초기 모델 다운로드 이후에는 인터넷 연결이나 API 키가 필요 없으며, 데이터가 외부 서버로 전송되지 않아 보안성이 높다. 이는 네트워크 지연 시간을 없애고 사용자 데이터의 외부 유출을 원천적으로 차단하는 효과를 준다.

Apple의 Metal 및 Neural Engine(ANE), NVIDIA의 CUDA 등 플랫폼별 하드웨어 가속을 자동으로 활용한다. 이를 통해 SmolLM2, Llama 3.2, Gemma 3와 같은 최신 경량 LLM을 모바일 및 데스크톱 환경에서 최적화된 속도로 실행할 수 있다. 특히 Apple 기기에서는 ANE를 활용하여 전력 효율성을 극대화하면서도 빠른 추론 속도를 유지한다.

기존의 Ollama나 llama.cpp와 비교했을 때, Xybrid는 모바일 및 게임 엔진(Unity) 지원이 강력하고 ASR/TTS/LLM을 하나의 SDK에서 통합 관리할 수 있다는 차별점을 가진다. 게임 내 AI NPC 구현을 위한 전용 Unity SDK와 3D 데모를 제공하여 게임 개발자가 복잡한 AI 인프라 구축 없이도 지능형 캐릭터를 추가할 수 있게 돕는다.

용어 해설

자동 음성 인식(ASR): — 음성 신호를 텍스트 데이터로 변환하는 기술로, Whisper와 같은 모델이 대표적이다. 실시간 통역이나 자막 생성의 핵심 기술이며 온디바이스 환경에서 지연 시간을 줄이는 것이 중요하다.
텍스트 음성 변환(TTS): — 텍스트를 자연스러운 인간의 음성으로 합성하는 기술로, Xybrid에서는 Kokoro 모델 등을 지원한다. 게임 NPC의 대사 출력이나 가상 비서의 음성 응답 구현에 필수적이다.
애플 뉴럴 엔진(ANE): — Apple 실리콘 칩에 탑재된 AI 전용 가속기로, 온디바이스 머신러닝 작업을 저전력으로 빠르게 처리한다. 모바일 기기에서 LLM을 실행할 때 배터리 소모를 줄이고 성능을 높이는 핵심 요소이다.
파이프라인 오케스트레이션(Pipeline Orchestration): — 여러 개의 AI 모델을 순차적으로 연결하여 복잡한 작업을 수행하도록 관리하는 기술이다. 음성 인식부터 답변 생성, 음성 출력까지의 전 과정을 하나의 워크플로우로 자동화한다.
GGUF 포맷(GGUF): — LLM 추론을 위해 최적화된 파일 형식으로, 양자화된 모델을 효율적으로 로드하고 실행하는 데 사용된다. llama.cpp 생태계에서 널리 쓰이며 다양한 하드웨어 환경에서 호환성이 높다.

기술

Rust
Flutter
Unity
Metal
CUDA
Apple Neural Engine
GGUF
ONNX

활용 사례

게임 내 AI NPC
오프라인 음성 비서
개인정보 보호형 챗봇
실시간 음성 자막 서비스

언급된 리소스

GitHubXybrid GitHub Repository

문서Xybrid Official Documentation