LoRA를 활용한 Chatterbox-Multilingual의 인도 8개 언어 확장 및 파인튜닝

실용적 조언

새로운 언어의 토큰을 추가할 때 유사한 발음을 가진 기존 언어의 임베딩으로 초기화하면 성능 향상에 도움이 된다.
다국어 모델 확장 시 파괴적 망각을 피하려면 언어를 순차적으로 추가하며 이전 데이터를 함께 학습시키는 가중 샘플링을 사용하라.

섹션별 상세

기존 G2P 방식 대신 그래프 레벨의 토크나이저 확장을 선택했다. BPE 토크나이저를 2454개에서 2871개 토큰으로 확장하여 인도 스크립트 문자를 직접 포함했다. 이를 통해 언어별로 복잡한 G2P 규칙을 새로 구축해야 하는 비용을 절감하고 데이터 효율성을 확보했다.

브라미 계열 스크립트의 음성적 유사성을 활용한 'Warm-start' 기법을 적용했다. 텔루구어의 'క'를 힌디어의 'क' 임베딩으로 초기화하는 방식으로, 서로 다른 글자라도 발음이 유사하면 기존 학습된 가중치를 재사용했다. 무작위 초기화보다 모델이 훨씬 빠르게 수렴하고 합리적인 초기 성능을 낼 수 있었다.

Llama 기반 T3 백본에 Rank-32 LoRA 어댑터를 적용하여 효율적인 학습을 구현했다. 전체 5억 4,400만 개의 파라미터 중 단 1.4%인 780만 개만 학습시켰으며, 보코더와 스피커 인코더 등 나머지 모듈은 동결했다. 점진적인 언어 추가 학습 전략을 통해 힌디어의 CER이 0.29에서 0.10으로 개선되는 등 파괴적 망각 현상을 방지했다.

Whisper large-v3를 이용한 CER 측정 결과, 대부분의 언어에서 자연스러운 음성 생성이 확인됐다. 힌디어(0.10), 칸나다어(0.14), 타밀어(0.16) 등은 우수한 성능을 보였으나, 말라얄람어는 0.85의 높은 에러율을 기록하며 한계를 보였다. 이는 말라얄람어 스크립트의 복잡한 결합 문자와 데이터 부족이 원인으로 분석됐다.

용어 해설

자소-음소 변환(G2P): — 문자(Grapheme)를 발음 기호인 음소(Phoneme)로 변환하는 기술이다. TTS 시스템에서 텍스트를 소리로 바꿀 때 필수적인 전처리 단계이지만, 언어마다 규칙이 복잡하여 구축에 많은 비용이 소요된다.
브라미 계열 스크립트 웜스타트(Brahmic Warm-start): — 인도 언어들이 공유하는 음성 구조를 활용하여, 새로운 언어의 임베딩을 유사한 발음의 기존 언어 임베딩으로 초기화하는 기법이다. 무작위 초기화 대신 의미 있는 값에서 학습을 시작하여 효율성을 높인다.
문자 에러율(CER): — 음성 인식 또는 생성 결과에서 문자가 얼마나 틀렸는지를 나타내는 지표이다. 값이 낮을수록 정확도가 높음을 의미하며, TTS 모델의 성능을 객관적으로 평가하는 데 사용된다.
BPE 토크나이저(BPE Tokenizer): — 자주 등장하는 문자열 쌍을 병합하여 토큰 단위를 결정하는 알고리즘이다. 어휘 사전에 없는 단어를 효율적으로 처리할 수 있어 다국어 모델의 어휘 확장 시 널리 사용된다.

코드 예제

python

from chatterbox.mtl_tts import ChatterboxMultilingualTTS
model = ChatterboxMultilingualTTS.from_indic_lora(device="cuda", speaker="te_female")
wav = model.generate("నమస్కారం, మీరు ఎలా ఉన్నారు?", language_id="te")

LoRA 어댑터가 적용된 Chatterbox 모델을 로드하여 텔루구어 음성을 생성하는 예시

언급된 도구

Chatterbox-Multilingual추천

23개 언어를 지원하는 오픈소스 제로샷 음성 클로닝 TTS 모델

LoRA추천

저순위 어댑터를 이용한 효율적인 파인튜닝 기법

Whisper large-v3추천

생성된 음성의 정확도를 측정하기 위한 ASR(음성 인식) 모델

언급된 리소스

DemoHugging Face Model & Samples

문서Full Technical Writeup

GitHubBase Model GitHub (Resemble AI)