코드 스위칭 음성 인식(ASR) 벤치마크: 다국어 고객을 위한 음성 에이전트 성능 평가

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

다국어 사용자의 코드 스위칭 환경에서 음성 에이전트의 정확도를 평가하기 위해 4개 언어 쌍을 포함한 벤치마크 데이터셋을 구축했다. ElevenLabs Scribe V2, Gemini 3 Flash, AssemblyAI Universal 3-Pro가 전반적인 음성 인식 정확도와 의미 보존 능력에서 우수한 성능을 보였다. 반면, OpenAI Whisper는 코드 스위칭 오디오를 전사하지 않고 영어로 번역하는 경향을 보여 성능이 낮게 나타났다. 언어 전환 횟수는 오류 발생 빈도와, 코드 혼용 밀도(CMI)는 오류의 심각성과 밀접한 상관관계를 보였다. 이번 벤치마크는 기업이 실제 고객의 언어 환경에 맞는 ASR 모델을 선택하는 데 필요한 구체적인 성능 지표를 제공한다.

배경

ASR 모델의 기본 개념, WER, SWER, AER 등 음성 인식 평가 지표에 대한 이해, 코드 스위칭 현상에 대한 기초 지식

대상 독자

프로덕션 환경에서 다국어 음성 에이전트를 운영하는 개발자 및 엔지니어

의미 / 영향

이 벤치마크는 코드 스위칭이 빈번한 실제 비즈니스 환경에서 범용 ASR 모델의 한계를 명확히 하고, 전용 모델 선택의 중요성을 강조한다. 기업은 단순히 WER 수치에 의존하지 않고 의미 보존력(SWER, AER)을 평가하여 고객 경험을 저해하지 않는 최적의 모델을 선정해야 한다.

섹션별 상세

코드 스위칭 환경 평가를 위해 스페인어, 프랑스어, 캐나다 프랑스어, 독일어와 영어의 혼용 상황을 가정한 벤치마크를 통해 ASR 모델의 실전 성능을 측정했다. 데이터셋은 실제 IT 및 HR 지원 시나리오를 바탕으로 생성되었으며, 자연스러운 언어 전환을 포함하도록 설계되었다.

코드 스위칭 음성 에이전트의 데이터 처리 파이프라인 다이어그램. — Diagram데이터 필터링부터 LLM을 통한 코드 스위칭 텍스트 생성, TTS를 통한 오디오 합성, 전문가 검수까지의 과정을 보여준다.

평가 지표는 단순 전사 정확도인 WER 외에도 의미 보존력을 측정하는 SWER와 하위 작업 실패율을 반영하는 AER을 도입해 다각도로 분석했다. 이 지표들은 모델이 단순히 단어를 맞추는 것을 넘어, 후속 작업에서 올바른 정보를 전달할 수 있는지 확인한다.

ASR 모델 평가 방법론 다이어그램. — Diagram기준 텍스트와 ASR 출력을 각각 LLM에 입력하여 질문 생성 및 답변을 비교하는 과정을 보여준다.

언어 쌍별 Semantic WER 및 Answer Error Rate 막대 그래프. — Chart모델별로 의미론적 오류와 답변 오류율을 비교하여 성능 차이를 보여준다.

모델별 성능 분석 결과 ElevenLabs Scribe V2와 Gemini 3 Flash가 모든 언어 쌍에서 최상위권 성능을 기록했다. 특히 Gemini는 의미론적 지표에서 강점을 보이며, AssemblyAI Universal 3-Pro가 그 뒤를 이었다.

언어 쌍별 ASR 모델의 WER 히트맵. — Chart다양한 언어 쌍에서 모델별 WER 성능을 시각화하여 비교한다.

근거

ElevenLabs Scribe V2와 Gemini 3 Flash가 모든 언어 쌍에서 최상위권 성능을 기록했다. — Findings 섹션의 WER 및 SWER/AER 결과 분석 부분

OpenAI Whisper Large V3 Turbo는 코드 스위칭 오디오 입력 시 전사 대신 번역을 수행하는 경향이 있어, 해당 환경에서 가장 낮은 정확도를 기록했다. 이는 범용 모델이 다국어 혼용 환경에서 전용 ASR 모델을 대체하기 어렵다는 점을 시사한다.

근거

OpenAI Whisper는 코드 스위칭 오디오를 전사하지 않고 영어로 번역하는 경향이 있다. — Findings 섹션의 WER 결과 및 Whisper 관련 설명

오류 패턴 분석 결과 언어 전환이 잦을수록 오류 발생 확률이 높아지며, 코드 혼용 밀도(CMI)가 높을수록 오류의 크기가 커지는 경향이 확인됐다. 이는 모델이 언어 전환 지점뿐만 아니라 혼용 밀도가 높은 구간에서 더 큰 어려움을 겪음을 의미한다.

언어 쌍별 단일 언어 대비 성능 차이(Delta) 그래프. — Chart코드 스위칭이 단일 언어 대비 얼마나 성능 저하를 유발하는지 모델별로 비교한다.

오류 집중 구간 분석 결과, 오류는 언어 전환 지점뿐만 아니라 영어로 된 문장 구간 전반에 걸쳐 집중되는 양상을 보였다. 이는 모델이 비모국어 구간으로 진입할 때 음운 및 어휘적 적응에 실패할 가능성이 높음을 나타낸다.

언어별 오류 집중도 히트맵. — Chart오류가 영어 구간과 비영어 구간 중 어디에 집중되는지 보여준다.

근거

오류는 언어 전환 지점뿐만 아니라 영어로 된 문장 구간 전반에 걸쳐 집중된다. — Findings 섹션의 'Portions of a code-switched utterance contributing to transcription errors' 부분

용어 해설

Code-switching: — 한 문장 내에서 두 개 이상의 언어를 섞어서 사용하는 현상. 다국어 사용자에게 자연스러운 대화 방식이나, ASR 모델에게는 언어 전환으로 인해 전사 오류를 유발하는 난제임.
ASR: — 음성 신호를 텍스트로 변환하는 기술. 음성 에이전트 파이프라인의 첫 단계로, 여기서 발생한 오류는 후속 작업의 성능을 저하시킴.
WER: — 모델이 생성한 전사 결과와 정답 텍스트를 비교하여 단어 단위의 오차를 계산하는 지표. ASR 모델의 기본적인 정확도를 측정하는 표준 척도임.
SWER: — 단순 철자 오차가 아닌, 문장의 의미를 왜곡하는 오류만을 측정하는 지표. 모델이 문맥을 얼마나 정확하게 이해하고 전사하는지 평가함.
AER: — 전사된 텍스트를 기반으로 후속 질문에 답변할 때 발생하는 오류를 측정하는 지표. 전사 오류가 실제 업무 수행에 미치는 실질적 영향을 평가함.

기술

ElevenLabs Scribe V2
Gemini 3 Flash
AssemblyAI Universal 3-Pro
Deepgram Nova 3
Mistral Voxtral
Nvidia Parakeet
OpenAI Whisper

활용 사례

고객 센터 음성 에이전트
IT 헬프데스크 자동화
다국어 음성 전사 시스템