NVIDIA PersonaPlex: 실시간 대화형 AI의 목소리와 페르소나를 자유롭게 제어하다
AI Tool·Python10 / 0
텍스트 프롬프트와 오디오 샘플을 통해 실시간 음성 대화 모델의 목소리와 역할을 정교하게 제어하는 NVIDIA의 오픈소스 프로젝트이다.
주요 기능
- 텍스트 프롬프트를 통한 정교한 역할 및 페르소나 설정
- 오디오 임베딩을 활용한 실시간 음성 스타일 변환 및 제어
- Moshi 아키텍처 기반의 저지연 실시간 양방향 음성 대화
- GPU 메모리 부족 시 CPU 오프로딩을 통한 유연한 모델 실행
- 다양한 자연스러운 음성(NAT) 및 변형 음성(VAR) 사전 패키징 제공
어떻게 동작하는가
Moshi 아키텍처와 Helium LLM을 기반으로 하며, 텍스트 프롬프트와 오디오 임베딩을 입력으로 받아 실시간으로 음성 토큰을 생성하고 제어한다.
7.9k
Stars
1.2k
Forks
+676
Trending
10
조회수
7.9k watchers52 open issues
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.