TL;DR

Audio8 TTS Preview 0.1B는 Audio8 Falcon H1 구조를 사용하는 약 170M 파라미터 규모의 compact preview TTS checkpoint이며, 별도 화자 학습 없이 참조 음성과 transcript로 zero-shot voice cloning을 수행합니다. slow AR이 semantic token을 예측하고 fast AR이 이를 조건으로 10개 codec codebook을 생성한 뒤, 별도 약 120M 파라미터 codec decoder가 44.1 kHz 음성으로 복원합니다. 중국어와 영어를 주요 언어로 삼고 독일어·스페인어·프랑스어·이탈리아어·일본어·한국어를 실험적으로 지원하지만, README의 CV3·Seed-TTS 수치는 다른 모델 보고서와 평가 조건이 섞인 참조 비교입니다. 작은 생성 모델과 번들 codec으로 음성 합성 및 voice cloning의 실행 규모를 줄였지만, 참조 음성 품질과 언어별 결과 편차를 배포 전에 확인해야 합니다.

핵심 포인트

• 약 170M 파라미터의 생성 모델과 약 120M 파라미터의 codec decoder로 구성됩니다. 전체 음성 생성 스택을 작은 규모로 묶어 zero-shot TTS 실행 부담을 낮춥니다. 중국어와 영어를 주 대상으로 하며 나머지 언어는 실험적 지원 범위입니다.
• Audio8 Falcon H1 구조에서 slow AR이 semantic token을 만들고 fast AR이 codec codebook을 생성합니다. fast AR은 slow branch의 hidden state를 조건으로 사용해 텍스트에서 음향 토큰으로 이어지는 생성을 분리합니다. 10개 codebook과 4,096개 항목을 사용해 음성 표현을 구성합니다.
• 참조 음성과 정확한 transcript를 입력하면 별도 화자 학습 없이 voice cloning을 수행합니다. Processor가 텍스트·참조 음성·참조 문장을 묶고 generate가 코드를 만든 뒤 codec decoder가 44.1 kHz waveform으로 복원합니다. 참조 음성과 문장이 길거나 시끄럽거나 서로 맞지 않으면 안정성과 화자 유사도가 낮아질 수 있습니다.

제한사항

벤치마크