TL;DR

Qwen3-TTS-12Hz-1.7B-CustomVoice는 Qwen3-TTS-Tokenizer-12Hz로 음성을 압축한 뒤 discrete multi-codebook 언어모델로 텍스트와 음성을 함께 모델링하는 엔드투엔드 TTS로, 기존 LM+DiT 방식의 정보 손실과 오류 전파 없이 10개 언어와 여러 방언 음색을 지원한다. dual-track 스트리밍 생성 구조 덕분에 한 글자만 입력돼도 곧바로 첫 오디오 패킷을 낼 수 있어 종단 지연이 최소 97ms까지 낮으며, 자연어 지시로 9종 프리미엄 음색의 성별·연령·언어·방언 조합과 감정·속도를 제어할 수 있다. 텍스트 의미를 깊이 이해해 문맥에 맞는 어조와 리듬을 자동으로 조정하는 지시-따르기 능력도 함께 갖췄다. 다만 CustomVoice는 정해진 9종 음색 안에서만 스타일을 바꿀 수 있어 완전히 새로운 목소리를 클로닝하려면 별도의 Base 모델을 써야 한다.

핵심 포인트

• 10개 언어와 다수 방언 음색을 지원하며, 자연어 지시로 음색·감정·속도를 제어할 수 있다.
• discrete multi-codebook LM으로 음성을 엔드투엔드 모델링해 기존 LM+DiT 방식의 정보 손실과 오류 전파를 없앤다.
• dual-track 스트리밍 구조로 한 글자만 입력돼도 즉시 첫 오디오 패킷을 낼 수 있어 지연이 97ms까지 낮다.
• 9종 프리미엄 음색 중에서 성별·연령·언어·방언 조합을 골라 스타일을 제어하는 CustomVoice 전용 태스크에 특화됐다.

제한사항

벤치마크