본문으로 건너뛰기

트렌딩 - GitHub 인기 레포 & HuggingFace 모델

돌아가기
모델 이동

bosonai/higgs-audio-v3-tts-4b

텍스트 입력을 음성으로 합성하는 Text-to-Speech(제로샷 보이스 클로닝 포함), 감정·스타일·프로소디·효과(sfx) 인라인 제어, 스트리밍 오디오 출력~4B8K 컨텍스트boson-higgs-audio-v3-research-and-non-commercial-license

8개 코드북 멀티코드 토크나이저와 4B autoregressive decoder로 제로샷 보이스 클로닝·감정·스타일·프로소디 제어를 제공하는 다국어 TTS이다.

학습 방식 · 백본은 약 4B 크기의 autoregressive decoder(36층, hidden=2560, GQA 32/8)이며, Higgs Tokenizer의 8개 코드북(25fps)으로 인코딩한 오디오와 텍스트를 교차한 시퀀스를 예측하도록 학습해 텍스트·오디오 토큰의 공동 생성 능력을 확보했다.

TL;DR

Higgs TTS v3는 텍스트와 오디오 토큰을 교차 입력으로 처리하는 autoregressive TTS로, 8개의 코드북과 지연(delay) 패턴을 사용하는 Higgs Tokenizer를 기반으로 한다. 모델은 multi-codebook fused embedding/head를 통해 텍스트 임베딩과 오디오 코드 표현을 정합시키며, 약 4B 크기의 autoregressive decoder(36L, hidden=2560, GQA 32/8)와 8,192 토큰 컨텍스트 길이로 멀티턴·대화형 합성을 지원한다. 모델은 100개 이상 언어를 지원하며 102개 언어에서 단일자리 WER/CER을 보고했고 그중 85개 언어는 WER/CER < 5로 분류되어 높은 다국어 정확도를 보인다. 제로샷 보이스 클로닝을 지원하며 <|emotion:…|>, <|style:…|>, <|prosody:…|>, <|sfx:…|> 같은 인라인 제어 토큰으로 감정·스타일·속도·피치·효과를 세밀하게 조절할 수 있다. 실시간성 측면에서는 SGLang-Omni·vLLM-Omni 같은 서빙 스택과 H100(bf16, CUDA Graph) 환경에서 RTF<1과 서브초 time-to-first-audio 스트리밍을 달성한 벤치마크가 제시된다. 연구·비상업용 라이선스로 배포되며 상업적 배포나 호스팅은 별도 라이선스가 필요하다. 아키텍처는 오디오 표현력을 높이는 대신 multi-codebook 디코딩과 서빙 구현에서 연산 및 인프라 복잡도가 증가하는 트레이드오프가 존재한다. 재현 가능한 서빙 레퍼런스와 벤치마크 스크립트가 제공되어 성능 검증과 통합 구현이 가능하다.

핵심 포인트

  • 8개 코드북과 delay 패턴을 결합한 multi-codebook 토크나이저 설계로 음향 해상도와 시간 정보 보존에 중점
  • multi-codebook fused single-tensor embedding/head를 텍스트 임베딩과 묶어 텍스트-오디오 정합성을 확보
  • 풍부한 인라인 제어 토큰 세트(감정·스타일·프로소디·sfx)와 명확한 배치 규칙으로 턴 단위·인라인 단위 제어를 모두 지원
  • SGLang-Omni·vLLM-Omni와 통합된 서빙 레퍼런스 및 벤치마크로 재현 가능한 저지연 스트리밍 운영을 제시

벤치마크

벤치마크지표값비교
SeedTTSWER/CER (×100, lower better)1.11해당 행에서 최저치(표에서 bold)
CV3WER/CER (×100, lower better)4.41해당 행에서 최저치(표에서 bold)
MiniMax-MultilingualWER/CER (×100, lower better)2.74해당 행에서 최저치(표에서 bold)
Higgs-MultilingualWER/CER (×100, lower better)3.61해당 행에서 최저치(표에서 bold)
Emergent TTS (Overall win-rate)Win-rate (↑, judge preference)53.65%—

이미지 분석

Higgs TTS v3 아키텍처 다이어그램(모델 아키텍처 개요)
이미지는 입력 측에서 Higgs Tokenizer Encoder가 참조 오디오를 8개의 오디오 토큰으로 변환하는 흐름과, 텍스트 토큰(T)과 오디오 토큰(A)이 교차되는 multi-turn generation 흐름을 보여준다. 중앙에는 'Higgs Autoregressive Decoder Backbone' 블록이 있고, 상단의 Higgs Tokenizer Decoder와 multi-codebook fused head가 토큰을 다시 웨이브폼으로 복원하는 경로를 나타낸다. 다이어그램은 README의 핵심 주장—8개 코드북, delay 패턴, multi-codebook fused embedding/head, interleaved text/audio token 처리—과 직접적으로 일치한다.

512

LIKES

78.7k

DOWNLOADS

4 / 0

조회수

관련 토론

아직 관련 토론이 없습니다.

댓글

댓글을 작성하려면 로그인이 필요합니다.