ElevenLabs의 대안으로 떠오르는 오픈소스 로컬 음성 합성 도구 Voicebox 분석

실용적 조언

Mac 사용자라면 MLX 가속을 활용해 ElevenLabs 수준의 클로닝 성능을 로컬에서 무료로 경험해볼 수 있다.
코딩 시 Cursor나 Claude Code와 연동하여 음성으로 리팩터링 명령을 내리는 워크플로를 구축할 수 있다.

섹션별 상세

Voicebox는 단순한 래퍼가 아닌 로컬 우선의 디지털 오디오 워크스테이션(DAW) 아키텍처를 채택했다. React 기반 프런트엔드와 Rust 기반 Tauri 셸을 사용하여 성능을 최적화했으며 모든 기능은 localhost:17493에서 실행되는 REST API를 통해 제어 가능하다. Apple Silicon의 MLX부터 NVIDIA의 CUDA까지 다양한 하드웨어 가속을 지원하여 로컬 환경에서의 범용성을 확보했다.

사용자의 요구에 따라 선택 가능한 5가지 TTS 엔진을 제공한다. Alibaba의 Qwen3-TTS는 3~5초의 오디오만으로도 정교한 목소리 복제가 가능하며 Chatterbox Turbo는 웃음이나 한숨 같은 감정 표현에 특화되어 있다. 특히 LuxTTS는 1억 개의 파라미터만 사용하는 경량 모델로 저사양 PC에서도 CPU만으로 빠른 생성이 가능하다는 점이 특징이다.

최근 업데이트를 통해 개발자 워크플로와의 통합 기능이 대폭 강화됐다. OpenAI Whisper를 활용한 시스템 전역 받아쓰기 기능과 로컬 LLM을 통한 음성 텍스트 정제 기능을 결합하여 말실수를 자동으로 수정해준다. 또한 HTTP 및 stdio 전송 방식을 지원하여 Claude Code나 Cursor 같은 코딩 에이전트와 연동해 음성 명령으로 코딩하는 환경을 구축할 수 있다.

용어 해설

MLX: — Apple Silicon에서 머신러닝 연구를 위해 설계된 효율적인 프레임워크이다. NumPy와 유사한 API를 제공하며 통합 메모리 아키텍처를 활용해 Mac 하드웨어에서 모델 실행 속도를 극대화한다.
타우리(Tauri): — Rust를 기반으로 한 데스크톱 애플리케이션 프레임워크이다. Electron보다 가볍고 보안성이 높으며 네이티브 시스템 리소스를 효율적으로 사용하여 설치 파일 크기를 획기적으로 줄여준다.
음성 합성(TTS): — 텍스트를 인공적인 음성으로 변환하는 기술이다. 최근에는 딥러닝을 통해 특정 인물의 목소리를 복제하거나 감정이 실린 자연스러운 발화를 생성하는 수준까지 발전했다.

언급된 도구

Voicebox추천링크

로컬 기반 오픈소스 음성 합성 및 클로닝 도구

Qwen3-TTS추천

Alibaba에서 개발한 고성능 음성 복제 엔진

MLX추천

Apple Silicon 하드웨어 가속 프레임워크

언급된 리소스

GitHubVoicebox GitHub Repository