Kanana-o 음성 생성 고도화와 LM-SPT

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

카카오의 Kanana-o 개선은 LM-SPT라는 언어모델 정렬형 토크나이저와 Counterfactual Preference 기반의 온라인 multi-objective 강화학습을 결합해 실현되었습니다. LM-SPT는 의미 토큰(VQ)과 음향 토큰(RVQ)을 분리하고 frame rate를 초당 12.5로 낮춰 Voice Token LM의 생성 시퀀스를 절반으로 줄였으며, 단일 스테이지 디코더로 RTF 0.005를 달성해 실시간 디코딩 효율을 크게 개선했습니다. 발화지시 이행은 같은 화자·문장 조건에서 지시 강도만 다르게 만든 counterfactual preference로 보상모델을 학습하고, 온라인 단계에서 지시 이행 점수·발화 오류율·화자 유사도·음질을 함께 최적화해 InstructTTSEval에서 94.50을 기록하는 등 실용적 지시 제어 능력을 확보했습니다.

빠른 이해

새로운 점

의미 토큰과 음향 토큰을 분리하고 frame rate를 12.5Hz로 낮춘 LM-SPT는 단일 스테이지 디코더로 직접 waveform을 복원해 디코딩을 간결화했으며, Counterfactual Preference 기반의 온라인 multi-objective RL로 발화지시 이행력을 대폭 개선했습니다.

핵심 메커니즘

LM-SPT는 의미(VQ)와 음향(RVQ) 코드북을 분리해 의미 정보와 음향 정보를 구조적으로 나누어 토큰화합니다. 학습 단계에서는 의미 토큰만으로 음성을 재합성한 뒤 언어모델 친화적 인코더로 원본·재합성 음성의 의미 표현을 정렬해 높은 수준의 의미 보존을 확보합니다. 운영 단계에서는 Multi-codebook Voice Token LM이 코드북별 출력 헤드를 통해 병렬 예측을 수행하되 RVQ 의존성을 반영하는 1-step delay를 적용해 효율과 정확도를 동시에 확보하고, 생성된 토큰을 단일 디코더로 바로 waveform으로 복원합니다.

핵심 수치

Encoder parameters: 32M- LM-SPT 인코더 파라미터 수
Korean ASR (clean CER ↓): 11.91- KSponSpeech clean 환경에서의 문자 오류율
Korean ASR (noisy CER ↓): 11.37- KSponSpeech noisy 환경에서의 문자 오류율
English ASR (clean WER ↓): 3.39- LibriSpeech clean 환경에서의 단어 오류율
English ASR (noisy WER ↓): 11.21- LibriSpeech noisy 환경에서의 단어 오류율
Zero-shot TTS (Korean CER ↓): 6.64- TTS로 합성한 한국어 문장에 대한 문자 오류율
Zero-shot TTS (English WER ↓): 1.48- TTS로 합성한 영어 문장에 대한 단어 오류율
Decoder RTF (Real-Time Factor ↓): 0.005- LM-SPT 단일 스테이지 디코더의 디코딩 속도
InstructTTSEval (Kanana-o, online RL): 94.50- multi-objective 온라인 강화학습 적용 후의 한국어 지시 이행 스코어

섹션별 상세

글 개요와 목표

카나나 팀은 Kanana-o의 음성 생성 품질과 실시간 응답성을 동시에 개선하기 위해 두 축의 기술적 목표를 세웠습니다. 첫째는 음성을 언어모델 친화적인 토큰 시퀀스로 더 압축하고 의미와 음향 정보를 분리해 제어 가능하게 만드는 것이며, 둘째는 사용자 발화지시(instruction)를 충실히 따르는 학습 방법을 도입해 지시 이행 능력을 높이는 것입니다. 이 목표를 달성하기 위해 LM-SPT라는 낮은 frame rate의 토크나이저와 Counterfactual Preference 기반의 온라인 강화학습을 결합해 효율성과 지시 이행력을 모두 개선했습니다.

기존 토크나이저의 한계

기존 Kanana-o는 초당 25프레임으로 음성을 이산 토큰화하고, 생성된 토큰을 Token-to-Mel과 Mel-to-Waveform의 2단계로 복원하는 구조를 사용했습니다. 이 구조는 생성 시퀀스 길이가 길어져 Voice Token LM의 순차 생성 비용이 커지고, Token-to-Mel 단계에서 iterative denoising 모델을 요구하는 등 디코딩 파이프라인이 복잡해 실시간 응답성이 떨어지는 문제가 있었습니다. 또한 의미 중심 토크나이저는 음향적 특성(속도·음색·억양)을 토큰 수준에서 직접 제어하기 어려워 사용자 지시를 세밀하게 반영하기 어렵다는 한계도 있었습니다.

LM-SPT 설계 핵심

LM-SPT는 음성을 의미 토큰과 음향 토큰으로 구조적으로 분리하고 전체 frame rate를 초당 12.5프레임으로 낮춘 토크나이저입니다. 구현은 의미를 담당하는 단일 코드북(VQ)과 여러 단계의 음향 코드북(RVQ)을 분리해 입력 음성에서 먼저 의미를 압축한 뒤 RVQ가 잔여 음향 정보를 순차적으로 보완하도록 했습니다. 이렇게 분리된 표현은 Voice Token LM이 의미와 음향을 별개로 학습·생성하게 해 지시 기반 제어를 더 정밀하게 하며, 낮은 frame rate는 생성해야 할 시간 스텝을 절반으로 줄여 전체 효율을 개선합니다.

근거

LM-SPT는 기존 대비 frame rate를 절반으로 줄여 Voice Token LM의 생성 시퀀스 길이를 줄였다. — 본문의 LM-SPT 설계 설명과 그림 3, '초당 12.5프레임' 언급

의미 정렬을 위한 증류 방법

LM-SPT는 기존의 프레임 단위 teacher matching 대신 의미 음성-재합성(Semantic Speech-Resynthesis Distillation)을 도입했습니다. 구체적으로 의미 토큰만으로 음성을 재합성한 뒤, 원본 음성과 재합성 음성을 언어모델 친화적 음성 인코더에 입력해 추출된 의미 표현이 유사해지도록 학습함으로써 서로 다른 frame rate 사이의 직접 시간 정렬을 피했습니다. 이 방식은 고수준 의미 표현과 더 잘 정렬된 의미 토큰을 유도하고, 무거운 사전학습 인코더 없이도 가벼운 인코더로 토크나이저를 운용할 수 있게 합니다.

그림 2. LM-SPT — Diagram이미지는 LM-SPT 학습 및 토크나이저 구조를 도식화해 의미 인코더(VQ)와 여러 음향 코드북(RVQ)의 관계, 그리고 의미 음성-재합성 기반 증류 흐름을 보여줍니다. 도식에서 의미 토큰이 먼저 추출되고 이후 RVQ 단계가 잔여 음향 정보를 보완하는 순서를 시각적으로 확인할 수 있으며, 증류 과정이 language-model-aligned encoder를 통해 의미 일관성을 강화하는 점도 표현되어 있습니다. 이 그림은 본문에서 주장하는 의미·음향 분리 구조와 의미 재합성 증류가 어떻게 결합되는지 이해하는 근거로 유용합니다.

성능 비교와 증거

동일한 환경에서 실시한 ASR·TTS 실험에서 LM-SPT는 한국어·영어의 clean·noisy 환경 모두에서 낮은 오류율을 기록해 표준 비교군을 넘어선 성능을 보였습니다. TTS의 주관평가에서 LM-SPT 적용 모델은 NMOS·SMOS 지표에서 경쟁 모델보다 높은 점수를 얻었고, 디코더 측면에서는 단일 스텝 디코더로 RTF 0.005를 달성해 CosyVoice2 대비 약 26배 빠른 디코딩 속도를 기록했습니다. 이러한 수치들은 LM-SPT의 낮은 frame rate와 단일 스테이지 복원 구조가 이해·생성 양쪽에서 실무적 이점을 제공함을 시사합니다.

근거

LM-SPT 디코더는 RTF 0.005를 기록해 CosyVoice2 대비 약 26배 빠른 디코딩 속도를 보였다. — 디코딩 속도 비교 표(Decoder Params·RTF)와 관련 문단

Kanana-o에의 통합 구조

LM-SPT를 Kanana-o에 적용하면서 Voice Token LM은 LLM 임베딩과 화자 정보를 입력으로 의미 토큰과 여러 음향 토큰을 생성합니다. 여러 코드북을 직렬로 펼치지 않고 코드북별 출력 헤드를 둔 Multi-codebook Voice Token LM을 사용해 같은 시간축(12.5Hz)에서 병렬 예측을 수행하되 RVQ의 의존관계를 반영하기 위해 각 음향 시퀀스에는 1-step delay pattern을 적용했습니다. 생성 후 delay를 제거해 동기화된 frame 단위로 정렬하면 LM-SPT 디코더가 모든 코드북 토큰을 함께 활용해 중간 mel 표현 없이 waveform을 직접 복원합니다.

그림 3. LM-SPT 기반 Kanana-o 구조도 — Diagram이미지는 Kanana-o 파이프라인에서 LLM 임베딩이 Voice Token LM으로 이어지고, Multi-codebook 출력 헤드가 병렬로 의미·음향 토큰을 생성한 뒤 1-step delay를 제거해 LM-SPT 디코더로 전달되는 전체 흐름을 보여줍니다. 각 코드북의 병렬 예측과 delay 패턴이 어떻게 시간축 효율성을 유지하면서 RVQ 의존관계를 보존하는지를 시각적으로 확인할 수 있어, 본문의 multi-codebook 설계 설명을 보완합니다. 실무 적용 관점에서는 병렬 출력 헤드와 단일 스테이지 디코더 설계가 응답성 개선의 핵심 근거로 읽힙니다.

발화지시 이행 학습 방법

사용자 지시를 정교하게 따르도록 하기 위해 카나나는 Counterfactual Preference Alignment를 구축하고 이를 기반으로 보상모델을 학습했으며, 이후 온라인 Multi-objective 강화학습을 적용했습니다. Counterfactual 데이터셋은 동일한 화자·문장 조건에서 발화지시 강도만 달리한 음성 쌍을 만들고 지시 기준으로 선호관계를 정의해 보상모델이 지시 적합성을 정확히 학습하게 설계했습니다. 온라인 강화학습 단계에서는 발화지시 이행 점수뿐 아니라 발화 오류율, 화자 유사도, 음질 점수라는 네 가지 목표를 동시에 고려해 보상 신호가 한 지표로 치우치지 않도록 했습니다.

지표 기반 결과와 향후 과제

InstructTTSEval 벤치마크에서 multi-objective 온라인 강화학습을 적용한 Kanana-o는 94.50 점을 달성해 초기 체크포인트(73.90)와 DPO 적용 후(81.30)보다 큰 개선을 보였습니다. LM-SPT는 토크나이저로서 낮은 frame rate와 단일 디코더로 높은 실시간 처리성을 확보했지만, Whisper와 같은 전용 대규모 음성 인코더 대비 의미 표현력 개선 여지가 남아 있습니다. 카나나는 향후 토크나이저의 의미 표현 강화, 더 높은 압축률로의 전환, 실시간 Full-duplex 서비스 적용 및 비언어 발화 제어 태그 확대를 목표로 연구를 이어갈 계획입니다.

용어 해설

LM-정렬 음성 토크나이저(LM-SPT): — LM-SPT는 음성을 의미 정보와 음향 정보를 분리해 토큰화하는 구조로, 초당 12.5프레임의 낮은 frame rate로 음성을 표현하도록 설계된 토크나이저입니다. 의미 토큰은 발화 내용을, 음향 토큰은 화자성과 억양·속도 같은 세부 특성을 담당하도록 Split RVQ 구조를 사용합니다. 이렇게 생성된 토큰을 단일 스테이지 디코더로 직접 waveform으로 복원해 디코딩 파이프라인을 간결하게 유지합니다.
의미 토큰(Semantic Speech Token): — 의미 토큰은 음성의 언어적 내용, 즉 텍스트와 대응되는 발화 정보를 압축해 표현하는 토큰입니다. LM-SPT에서는 사전 학습된 언어모델 친화적 인코더(예: Whisper 유사)를 활용한 의미-재합성(distillation)으로 의미 보존을 강화했습니다. 의미 토큰만으로도 원본 발화 내용을 재현하도록 학습해 언어모델과의 정렬을 개선합니다.
음향 토큰(Acoustic Speech Token): — 음향 토큰은 화자 음색, 억양, 음높이, 발화 속도 등 음성의 비언어적·하위정보를 표현하는 토큰입니다. LM-SPT에서는 여러 개의 음향 코드북을 RVQ 방식으로 구성해 앞단 코드북이 표현하지 못한 잔여 음향 정보를 뒤쪽 코드북이 순차적으로 보완합니다. 이렇게 의미 토큰과 병렬 조합하면 언어모델이 음성의 세부 특성을 토큰 수준에서 제어할 수 있습니다.

기술

LM-SPT
Voice Token LM
Multi-codebook Voice Token LM
Counterfactual Preference Alignment
Online Reinforcement Learning
DPO
Whisper
HuBERT
WavLM
RVQ

언급된 리소스

문서LM-SPT: LM-Aligned Semantic Distillation for Speech Tokenization

문서SpeechTokenizer: Unified speech tokenizer for speech language models

문서Moshi: a speech-text foundation model for real-time dialogue

문서DualCodec: A low-frame-rate, semantically-enhanced neural audio codec for speech generation

문서CosyVoice 2: Scalable streaming speech synthesis with large language models

문서HuBERT

문서WavLM

문서InstructTTSEval: Benchmarking complex natural-language instruction following in text-to-speech systems

문서원문 링크