실시간 음성 대 음성(Speech-to-Speech) AI 모델 로컬 실행 가이드

섹션별 상세

PersonaPlex는 Full-duplex 아키텍처를 채택하여 사용자가 말하는 도중에도 AI가 동시에 응답을 생성하고, 대화 중 발생하는 중단이나 겹침 현상을 자연스럽게 처리한다.

NVIDIA PersonaPlex-7B-v1 모델은 게이트형(Gated) 모델로 배포되므로, Hugging Face에서 라이선스 약관에 동의하고 Read 권한을 가진 액세스 토큰을 발급받아 환경 변수로 설정해야 한다.

bash

export HF_TOKEN="YOUR_HF_TOKEN"

Hugging Face에서 모델 가중치를 다운로드하기 위한 인증 토큰 설정

시스템 환경 구축을 위해 실시간 오디오 인코딩 및 디코딩에 필수적인 libopus-dev 라이브러리를 설치해야 하며, NVIDIA 공식 저장소에서 Moshi 패키지를 직접 빌드하는 과정이 수반된다.

bash

sudo apt update
sudo apt install -y libopus-dev

실시간 오디오 처리를 위한 Opus 코덱 개발 라이브러리 설치

서버 실행 시 약 16.7GB 규모의 모델 가중치를 다운로드하며, hf_transfer 라이브러리를 사용하면 다운로드 속도를 최적화할 수 있다.

bash

git clone https://github.com/NVIDIA/personaplex.git
cd personaplex
pip install moshi/.

PersonaPlex 저장소 클론 및 Moshi 구성 요소 소스 빌드 설치

로컬 서버 구동 후 웹 브라우저를 통해 접속하면 Astronaut와 같은 대화 템플릿을 선택하거나 시스템 프롬프트를 수정하여 AI의 성격과 행동 양식을 자유롭게 커스터마이징할 수 있다.

bash

pip install hf_transfer
python -m moshi.server --host 0.0.0.0 --port 8998

고속 다운로더 설치 및 PersonaPlex 실시간 웹 서버 실행

Natural 및 Variety 시리즈로 구성된 총 18종의 남성 및 여성 목소리 프리셋을 제공하여 사용자의 목적에 맞는 다양한 음성 톤을 실험할 수 있다.

전이중 통신(Full-duplex): — 송신과 수신이 동시에 독립적으로 이루어지는 통신 방식이다. AI 대화에서 사용자가 말을 멈출 때까지 기다리지 않고 실시간으로 듣기와 말하기를 동시에 수행하여 자연스러운 대화 흐름을 가능하게 한다.
음성 대 음성(Speech-to-Speech): — 중간에 텍스트 변환 과정(STT/TTS)을 거치지 않거나 이를 통합하여 음성 입력을 즉시 음성 출력으로 연결하는 모델이다. 지연 시간을 최소화하여 실제 사람과 대화하는 듯한 반응 속도를 제공한다.
오퍼스 코덱(Opus Codec): — 인터넷상의 실시간 대화형 음성 및 음악 전송을 위해 설계된 손실 압축 오디오 코덱이다. 낮은 지연 시간과 높은 압축 효율을 제공하여 실시간 AI 음성 서비스의 필수적인 구성 요소로 활용된다.
게이트형 모델(Gated Model): — 누구나 자유롭게 다운로드할 수 있는 오픈 모델과 달리, 사용자가 특정 라이선스 약관에 동의하거나 승인을 받아야만 가중치에 접근할 수 있는 모델 배포 방식이다.