LoRA를 활용한 Chatterbox-Multilingual의 인도 8개 언어 확장 및 파인튜닝

대체로 긍정적이며, 특히 인도 언어 지원이 부족했던 오픈소스 TTS 생태계에서 실질적인 벤치마크와 모델을 공유한 점에 대해 높은 평가를 받고 있다.

• 새로운 언어의 토큰을 추가할 때 유사한 발음을 가진 기존 언어의 임베딩으로 초기화하면 성능 향상에 도움이 된다.
• 다국어 모델 확장 시 파괴적 망각을 피하려면 언어를 순차적으로 추가하며 이전 데이터를 함께 학습시키는 가중 샘플링을 사용하라.

G2P

— 문자(Grapheme)를 발음 기호인 음소(Phoneme)로 변환하는 기술이다. TTS 시스템에서 텍스트를 소리로 바꿀 때 필수적인 전처리 단계이지만, 언어마다 규칙이 복잡하여 구축에 많은 비용이 소요된다.

Brahmic Warm-start

— 인도 언어들이 공유하는 음성 구조를 활용하여, 새로운 언어의 임베딩을 유사한 발음의 기존 언어 임베딩으로 초기화하는 기법이다. 무작위 초기화 대신 의미 있는 값에서 학습을 시작하여 효율성을 높인다.

CER

— 음성 인식 또는 생성 결과에서 문자가 얼마나 틀렸는지를 나타내는 지표이다. 값이 낮을수록 정확도가 높음을 의미하며, TTS 모델의 성능을 객관적으로 평가하는 데 사용된다.

BPE Tokenizer

— 자주 등장하는 문자열 쌍을 병합하여 토큰 단위를 결정하는 알고리즘이다. 어휘 사전에 없는 단어를 효율적으로 처리할 수 있어 다국어 모델의 어휘 확장 시 널리 사용된다.