챕터별 상세
WER 지표의 한계와 오해
지난 10년간 STT 평가의 표준이었던 WER은 모든 단어 오류를 동일한 가중치로 계산하는 단순한 방식이다. 'ok'와 'okay' 같은 사소한 차이와 환자의 이름이나 약물명을 틀리는 치명적인 오류를 구분하지 못하는 문제가 있다. 이로 인해 실제 비즈니스 가치와 직결되는 성능 차이를 수치화하기 어렵다. 따라서 단순 수치 비교를 넘어 오류의 심각성을 고려한 평가 체계가 필요하다.
AI가 인간보다 정확할 때 발생하는 벤치마크 오류
Universal-3 Pro 모델 출시 후 일부 고객사에서 기존 모델보다 WER이 높게 측정되는 현상이 보고되었다. 원인을 분석한 결과, 최신 AI 모델이 인간 전사자가 놓친 단어들까지 정확히 인식하면서 정답 데이터(Ground Truth)에 없는 단어를 '삽입 오류'로 판정받은 것이었다. 즉, 모델의 성능이 너무 좋아져서 오히려 낮은 점수를 받는 역설적인 상황이 발생했다. 이는 벤치마크의 병목 현상이 모델 성능이 아닌 데이터 품질에 있음을 시사한다.
Universal-3 Pro는 AssemblyAI의 최신 음성 인식 모델로, 높은 정확도와 문맥 이해력을 갖추고 있다.
Truth File Corrector 도구 시연
부정확한 정답 데이터를 바로잡기 위해 AI 예측값과 정답 데이터를 나란히 비교하고 수정할 수 있는 노코드 도구를 개발했다. 사용자는 오디오를 들으며 AI가 인식한 내용과 인간이 작성한 내용 중 어느 쪽이 맞는지 클릭 한 번으로 선택할 수 있다. 이를 통해 수동으로 전체를 검토하는 시간을 대폭 단축하면서도 고품질의 정답 데이터를 확보할 수 있다. 수정된 데이터로 다시 평가하면 모델의 실제 성능을 반영한 정확한 WER을 얻게 된다.
시맨틱 WER과 텍스트 정규화
의미는 같지만 표기가 다른 단어들을 처리하기 위해 시맨틱 WER 개념과 정규화 도구를 활용한다. Whisper Normalizer 같은 도구는 구두점 제거나 대소문자 통일을 돕지만, 도메인 특화 용어나 약어 처리는 미흡하다. 이를 해결하기 위해 사용자 정의 시맨틱 단어 목록을 구축하여 'all right'와 'alright' 등을 동일하게 취급하도록 설정해야 한다. 이러한 과정은 모델 간의 공정한 비교를 가능하게 하며 불필요한 오류 수치를 제거한다.
시맨틱 WER은 단어의 형태적 일치보다 의미적 일치에 중점을 둔 평가 방식이다.
프로덕션 환경에서의 A/B 테스트
실제 서비스 환경에서는 WER 수치보다 비즈니스 결과 지표가 더 중요하다. 두 모델을 동시에 배포하여 하위 작업(LLM 요약, 엔티티 추출 등)의 성공률이나 사용자 수정 횟수, 고객 지원 티켓 발생량 등을 측정해야 한다. 예를 들어, WER은 비슷하더라도 특정 모델이 핵심 키워드를 더 잘 인식하여 상담원의 업무 효율을 높인다면 그 모델이 더 우수한 것이다. 최종적으로는 비즈니스 가치를 창출하는 모델을 선택하는 것이 벤치마킹의 목적이다.
A/B 테스트는 두 가지 이상의 버전을 사용자에게 무작위로 노출하여 어떤 버전이 더 효과적인지 측정하는 실험 방법이다.
STT Benchmarking SDK 및 MER 측정
다양한 지표를 한 번에 측정할 수 있는 오픈소스 Python SDK를 공개했다. 이 SDK는 WER뿐만 아니라 화자 분리 정확도(DER), 미검출 엔티티율(MER) 등을 포함한다. 특히 의료 도메인 데모에서 Whisper 모델은 약물명을 틀리게 인식했지만, Universal-3 Pro는 정확히 인식하여 MER에서 큰 차이를 보였다. LLM을 활용해 텍스트에서 핵심 엔티티를 추출하고 이를 모델 결과와 비교함으로써 도메인 특화 성능을 정밀하게 측정할 수 있다.
MER(Missed Entity Rate)은 전체 단어가 아닌 특정 핵심 단어의 누락 여부만 집중적으로 평가한다.
python
from stt_benchmarking import STTBenchmark
# Initialize benchmark
benchmark = STTBenchmark()
# Your transcripts
reference = {"speaker": "Doctor", "text": "What brings you in today?"}
hypothesis = {"speaker": "spk_1", "text": "What brings you in today?"}
# Evaluate
results = benchmark.evaluate(reference, hypothesis)
print(f"WER: {results['wer']}")
print(f"Speaker Accuracy: {results['speaker_count_correct']}")STT Benchmarking SDK를 사용하여 정답 데이터와 모델 예측값을 비교하고 WER 및 화자 분리 정확도를 측정하는 예시
용어 해설
- 단어 오류율(WER)
- — 음성 인식 시스템의 정확도를 측정하는 표준 지표로, 전체 단어 수 대비 삽입, 삭제, 대체된 단어의 비율을 계산한다. 모든 단어 오류를 동일한 가중치로 처리하기 때문에 비즈니스 맥락에서의 중요도를 반영하지 못하는 한계가 있다.
- 정답 데이터(Ground Truth)
- — 모델의 예측값을 비교 평가하기 위한 기준이 되는 실제 정답 데이터이다. STT 분야에서는 주로 인간 전사자가 작성한 텍스트를 사용하지만, 인간의 실수로 인해 정답 데이터 자체가 부정확할 경우 모델 평가 결과가 왜곡될 수 있다.
- 미검출 엔티티율(MER)
- — 전체 텍스트 중 고유 명사나 전문 용어와 같은 핵심 엔티티를 얼마나 정확하게 인식했는지 측정하는 지표이다. 의료나 금융처럼 특정 단어의 정확도가 시스템 전체의 신뢰도를 결정하는 도메인에서 WER보다 더 중요한 평가 기준으로 활용된다.
- 텍스트 정규화(Normalization)
- — 대소문자, 구두점, 숫자 표기 방식 등을 일관된 형식으로 변환하는 전처리 과정이다. 'ok'와 'okay'처럼 의미는 같지만 표기가 다른 경우를 오류로 처리하지 않도록 하여 평가 지표의 신뢰성을 높이는 역할을 한다.
- 방출 지연 시간(Emission Latency)
- — 실시간 스트리밍 음성 인식에서 단어가 발화된 시점부터 해당 단어의 텍스트 결과가 출력될 때까지 걸리는 시간이다. 사용자 경험에 직접적인 영향을 미치는 지표로, 단순한 네트워크 응답 시간보다 STT 모델의 실시간 성능을 더 정확하게 나타낸다.
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 04. 01.수집 2026. 04. 01.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
