TL;DR

Higgs TTS 3는 Boson AI가 공개한 약 4B 규모의 autoregressive text-to-speech 모델로, 8개의 코드북을 쓰는 Higgs Tokenizer와 multi-codebook fused embedding/head를 결합해 텍스트와 오디오 토큰을 교차 처리하는 설계를 채택했다. 이 구조는 25fps 프레임 단위의 오디오 코드화를 백본에 주입하고, 디코딩 시 지연을 해소하여 파형으로 복원하는 방식으로 작동하며 README 기준으로 102개 언어에서 단일 자릿수 WER/CER 성능을 보였다. 감정·스타일·prosody·sfx를 inline 토큰으로 제어할 수 있어 대화형·표현적 음성 합성이 가능하고, SGLang-Omni·vLLM-Omni 연동과 H100 벤치마크(RTF 0.147, throughput 1.62 req/s 등)를 통해 배포 성능도 제시되었다. 라이선스는 연구·비상업적 용도로 제한되어 상업적 사용은 별도 라이선스가 필요하다.

핵심 역량

• 텍스트 입력으로부터 제어 가능한 음성 합성이 가능하며 감정, 스타일, prosody, sfx 토큰을 통해 문장 단위와 인라인 단위로 음성 특성을 조정할 수 있다.
• 제로샷 보이스 클로닝 기능을 제공하며 참조 오디오와 참조 텍스트를 함께 제공하면 클로닝 충실도가 실질적으로 개선되는 워크플로를 지원한다.
• 다국어를 광범위하게 지원하여 README 기준으로 102개 언어에서 단일 자릿수 WER/CER 성능을 기록한 언어군을 포함한다.
• 서빙 레퍼런스로 SGLang-Omni와 vLLM-Omni를 지원하여 Docker 기반 서빙, SSE 스트리밍, OpenAI 호환 API 등 다양한 배포 옵션을 제공한다.

강점

• 다국어 성능에서 강점이 있어 README 기준으로 102개 언어에 대해 단일 자릿수 WER/CER을 달성한 점이 명시되어 있어 광범위한 언어 커버리지가 강점이다.
• 아키텍처적으로 multi-codebook 토크나이저와 fused embedding/head를 사용해 텍스트 임베딩과 오디오 코드 표현을 결속시킨 설계로 컨트롤 가능성이 높고 텍스트·오디오 통합 생성에 적합하다.
• 서빙 측면에서 SGLang-Omni·vLLM-Omni 연동과 H100 벤치마크 수치(예: Concurrency 1에서 RTF 0.147, throughput 1.62 req/s)가 제공되어 배포 성능을 수치로 검증했다.

알아두면 좋은 것

• 모델은 Boson Higgs TTS 3 Research and Non-Commercial License로 배포되며 연구·비상업적 용도 전용이고 상업적·호스팅·수익 목적 사용은 별도 라이선스가 필요하다.
• 오디오 토크나이저는 8개의 코드북, 각 코드북의 vocab 크기 1026, 프레임 레이트 25fps, 샘플레이트 24kHz 등 구체적 스펙을 명시해 코덱 수준의 디지털 표현을 채택했다.
• 제어 토큰 문법은 <|category:value|> 형식을 사용하며 emotion/style/prosody/sfx 토큰의 위치 규칙과 sfx에 대한 onomatopoeia 페어링 규칙을 명시하여 합성 예측의 일관성을 보장한다.
• 성능·평가 자료로 다국어 WER/CER 표와 Emergent TTS의 인간 판정 win-rate 표, H100 기반 throughput·RTF 표 등 재현 가능한 벤치마크 수치를 공개했다.

기술적 특징

• 모델 백본은 약 4B 규모의 autoregressive decoder로 구성되며 36개 레이어, hidden=2560, GQA 32/8 구성으로 대규모 컨텍스트를 효율적으로 처리하도록 설계되었다. 이 구성은 긴 훈련 시퀀스(8,192 tokens)를 수용하면서도 계산 효율을 확보하기 위해 GQA를 도입한 점이 특징이다. 결과적으로 대화형·연속 생성에 적합한 용량과 속도 균형을 구현했다.
• Higgs Tokenizer는 오디오를 8개의 코드북으로 양자화하고 각 코드북을 프레임 단위(25fps)로 인코딩하며 delay pattern을 적용해 시간 축 정렬을 관리한다. 그런 다음 multi-codebook fused embedding을 통해 각 코드의 표현을 backbone의 hidden state로 매핑하여 텍스트·오디오 토큰을 동일한 처리 파이프에 통합한다. 이 파이프라인은 오디오 토큰을 autoregressive 시퀀스에 매끄럽게 주입하고, 디코딩 시 multi-codebook fused head로 다시 합쳐져 파형으로 복원된다.
• 토큰 기반 제어 문법을 통해 감정·스타일·prosody·sfx를 inline으로 주입하는 인터페이스를 제공하여 합성 과정에서 세밀한 음성 표현 제어가 가능하다. DELIVERY 관련 토큰은 문장 시작에 배치하도록 규칙화했고, 포지셔널 이벤트(예: pause, sfx)는 텍스트 내부에 삽입하도록 정의하여 예측 시 토큰의 시간적 영향 범위를 명확히 했다. 이 규칙은 제어 토큰이 생성 품질과 타이밍에 미치는 영향을 일관성 있게 유지하는 역할을 한다.
• 서빙·스트리밍 관점에서 SGLang-Omni와 vLLM-Omni 같은 스택과 호환되도록 설계되어, multi-codebook 디코딩을 위한 연속 배칭과 SSE 스트리밍을 지원한다. README에 제시된 H100 벤치마크는 concurrency별 throughput·mean latency·RTF를 제시하여 실환경 배포의 성능 예측에 활용할 수 있다. 또한 base64 WAV 청크 스트리밍과 'time-to-first-audio'가 서빙 파이프라인 설계의 핵심 목표로 반영되었다.

차별점

• multi-codebook 토크나이저와 delay pattern을 결합한 토큰화·디코딩 파이프라인으로 코드북 기반 오디오 표현을 autoregressive 시퀀스와 직접 결합한 점.
• 감정·스타일·prosody·sfx를 모두 inline 토큰으로 제어할 수 있도록 문법과 위치 규칙을 문서화하여 제어 가능성이 높은 합성 인터페이스를 제공한 점.
• H100 기준 재현 가능한 throughput·RTF 표와 인간 판정 기반 win-rate 표 등으로 배치 및 실시간 서빙 성능, 음성 품질 우위를 함께 제시한 점.

벤치마크

이미지 분석