목소리 우선 국가의 선호도: 인도 언어 TTS를 위한 대규모 쌍체 비교 평가 및 선호도 분석

인도는 텍스트보다 음성 인터페이스를 선호하는 '목소리 우선' 국가이지만, 다양한 언어와 혼합 언어(Code-mixing) 특성 때문에 TTS 성능 평가가 매우 어려웠습니다. 이 논문은 1,900명 이상의 원어민을 동원해 7개의 최신 TTS 시스템을 다차원적으로 평가하여 실제 사용자가 어떤 목소리를 더 신뢰하고 선호하는지에 대한 정밀한 기준을 제시합니다.

기존의 TTS 평가는 개별 음성을 듣고 1~5점을 매기는 MOS(Mean Opinion Score) 방식을 주로 사용했다. 하지만 이는 평가자마다 '좋음'의 기준이 달라 점수 편차가 크고, 특히 인도처럼 언어적 배경이 다양한 환경에서는 객관성을 유지하기 힘들다. 이 논문은 두 모델의 음성을 동시에 들려주고 더 나은 것을 고르게 하는 쌍체 비교(Pairwise Comparison) 방식을 채택하여 평가자의 주관적 편향을 최소화했다.

수집된 비교 데이터는 Bradley-Terry 모델이라는 확률적 랭킹 알고리즘을 통해 처리된다. 이는 각 모델이 승리할 확률을 바탕으로 잠재적인 성능 점수를 계산하는 방식으로, 체스나 게임의 Elo 레이팅과 유사한 원리다. 이를 통해 서로 다른 평가자가 매긴 수만 개의 파편화된 선택지를 하나의 일관된 성능 지표로 통합할 수 있다.

단순히 '어떤 모델이 좋은가'를 넘어 '왜 좋은가'를 분석하기 위해 SHAP(Shapley Additive Explanations) 기법을 도입했다. 이는 게임 이론에 근거하여 각 세부 지표(음질, 속도 등)가 최종 선호도 결정에 기여한 정도를 수치화한다. 분석 결과, 기본적인 노이즈나 환각이 제거된 상태에서는 목소리의 감정과 억양을 살리는 '표현력'이 사용자의 마음을 사로잡는 핵심 열쇠임을 밝혀냈다.

평가 데이터셋은 10개 인도 언어의 16개 도메인에서 수집된 5,357개 문장으로 구성된다. 입력값으로 일반 문장(Normalized), 수식/기호 포함 문장(Symbolic), 영어 혼합 문장(Code-mixed) 세 가지 유형을 준비하여 모델의 처리 능력을 다각도로 검증한다.

평가 프로세스는 2단계로 진행된다. 1단계에서 평가자는 두 음성을 듣고 전체적인 선호도(Model A, B, Both Good, Both Bad)를 선택한다. 2단계에서는 동일한 음성 쌍에 대해 6가지 세부 축(이해도, 표현력, 음질, 생동감, 환각, 노이즈)별로 점수를 매긴다. 이때 1단계의 선택은 수정할 수 없도록 고정하여 평가자의 즉각적인 청각적 판단이 왜곡되지 않도록 설계했다.

통계 모델링에서는 Bradley-Terry 모델을 사용하여 최대 우도 추정(Maximum Likelihood Estimation)을 수행한다. 승리 확률 P(i > j) = exp(s_i) / (exp(s_i) + exp(s_j)) 수식을 통해 각 모델의 잠재 점수 s를 계산한다. 지수 함수 exp는 점수 차이가 클수록 승리 확률을 급격히 높여 모델 간의 성능 격차를 명확히 드러내며, 전체 합산 결과는 리더보드 상의 순위로 변환된다.

Gemini 2.5 Pro TTS가 10개 언어 중 9개 언어에서 1위를 기록하며 가장 압도적인 성능을 보였다. 특히 70%의 승률(Win Rate)과 1128.53의 BT 점수를 기록하여 2위 그룹인 Eleven Labs v3 및 Sonic 3와 통계적으로 유의미한 격차를 벌렸다.

입력 유형별 분석 결과, 모든 모델이 영어와 현지어가 섞인 Code-mixed 문장에서 성능 하락을 보였으나 Gemini 2.5 Pro는 이 환경에서도 가장 높은 점수(1135.45)를 유지하며 견고함을 증명했다. 반면 오픈소스 모델인 Indic F5는 모든 지표에서 최하위를 기록하여 상용 API 모델과의 성능 격차가 여전히 큼을 보여주었다.

평가 신뢰도 분석에서는 평가자 수가 100~200명에 도달할 때 순위의 상관계수(Spearman's rho)가 0.95 이상으로 안정화됨을 확인했다. 이는 대규모 평가 시 무한정 인원을 늘리기보다 적절한 수의 숙련된 평가자와 충분한 문장 수(약 1,000개 이상)를 확보하는 것이 효율적임을 시사한다.

본 연구는 다국어 TTS 평가에서 발생하는 높은 분산을 제어하기 위해 '통제된 다차원 쌍체 비교' 아키텍처를 제안한다. 핵심은 전체 선호도와 세부 속성 평가를 분리하여 인지적 부하를 줄이면서도 진단적 깊이를 확보한 것이다. Bradley-Terry 모델을 통해 개별 평가자의 주관적 척도를 공통된 잠재 공간(Latent Space)으로 매핑하여 비교 가능한 수치로 변환했다.

SHAP 분석을 통한 해석 가능성(Interpretability) 확보는 본 연구의 기술적 차별점이다. XGBoost 분류기를 사용하여 6개 속성으로부터 전체 선호도를 예측하도록 학습시킨 후, 각 속성의 Shapley Value를 계산했다. 이는 특정 속성이 모델의 승리 확률을 얼마나 높였는지 기여도를 산출하는 방식으로, 표현력(+1.01)과 이해도(+0.62)가 가장 높은 가중치를 가짐을 정량화했다.

또한 부트스트랩 리샘플링(Bootstrap Resampling)을 500회 수행하여 95% 신뢰 구간을 산출함으로써 리더보드 순위의 통계적 유의성을 검증했다. 두 모델의 신뢰 구간이 겹치지 않을 때만 성능 차이가 있다고 판단하는 보수적인 기준을 적용하여 리더보드의 신뢰도를 높였다.

평가 대상이 7개의 특정 시스템으로 제한되어 있어 모든 최신 모델을 대변하지 못할 수 있다. 또한 평가자들이 실험실 환경이 아닌 크라우드소싱 환경에서 참여했기 때문에 청취 장비의 품질 차이가 결과에 미세한 영향을 주었을 가능성이 있다.