Cohere, 업계 최고 성능의 오픈 소스 ASR 모델 'Cohere Transcribe' 발표

섹션별 상세

01

Cohere Transcribe는 2B 파라미터 규모의 Conformer 기반 인코더-디코더 구조를 통해 음성 데이터를 텍스트로 변환한다. 대규모 Conformer 인코더가 오디오의 음향적 특징을 정밀하게 추출하고, 경량 Transformer 디코더가 이를 토큰으로 생성하는 방식을 취한다. 처음부터 직접 학습(Trained from scratch)되어 최적화된 성능을 제공하며 Apache 2.0 라이선스로 배포된다. 이를 통해 기업은 인프라에 대한 완전한 제어권을 유지하면서 고성능 음성 인식을 구현할 수 있다.

02

Hugging Face Open ASR Leaderboard에서 평균 WER 5.42%를 달성하며 업계 표준 모델인 Whisper Large v3(7.44%)를 크게 앞질렀다. 다중 화자 환경, 소음이 섞인 회의실 음향, 다양한 억양 등 실제 비즈니스 환경을 반영한 데이터셋에서 일관되게 우수한 정확도를 입증했다. 특히 AMI, Voxpopuli 등 까다로운 벤치마크에서도 경쟁 모델 대비 낮은 오류율을 유지했다. 이러한 수치는 모델이 통제된 실험실 환경을 넘어 실제 현장에서도 신뢰할 수 있는 전사 품질을 제공함을 의미한다.

03

정량적 지표 외에도 실제 인간 평가자가 참여한 선호도 조사에서 경쟁 모델 대비 압도적인 승률을 기록했다. 평가자들은 의미 보존 능력, 환각 현상 억제, 고유 명사 식별 정확도 등을 기준으로 모델의 출력을 비교 분석했다. 영어뿐만 아니라 이탈리아어, 일본어 등 지원되는 주요 언어 전반에서 50% 이상의 승률을 확보하며 실질적인 사용성을 증명했다. 이는 벤치마크 수치가 실제 사용자가 체감하는 품질 향상으로 직결됨을 보여주는 결과이다.

모델별 영어 전사 승률을 보여주는 막대 그래프 — Chart인간 평가자가 수행한 영어 전사 품질 비교에서 Cohere Transcribe가 경쟁 모델들을 상대로 거둔 승률을 보여줍니다. IBM Granite(78%), NVIDIA Canary(67%), Whisper Large v3(64%) 등을 상대로 모두 50% 이상의 승률을 기록하며 인간 선호도 측면에서 우위를 점하고 있음을 입증합니다.

6개 주요 언어에 대한 모델별 전사 승률 비교 차트 — Chart이탈리아어, 프랑스어, 독일어, 스페인어, 포르투갈어, 일본어에 대한 Cohere Transcribe, Whisper Large v3, Voxtral Mini의 성능을 비교합니다. 특히 일본어에서 70%의 높은 승률을 기록하는 등 다국어 환경에서도 경쟁력 있는 성능을 보여주고 있음을 시각화합니다.

04

실제 운영 환경에서의 효율성을 극대화하기 위해 정확도와 처리량 사이의 파레토 최적(Pareto frontier)을 확장했다. 1B 이상의 파라미터를 가진 모델군 중 가장 높은 실시간 처리 배수(RTFx)를 기록하여 빠른 전사 속도를 보장한다. 높은 처리량은 동일한 하드웨어 자원으로 더 많은 오디오 데이터를 처리할 수 있게 하여 운영 비용을 획기적으로 낮춘다. 지연 시간에 민감한 실시간 고객 지원 에이전트나 대규모 음성 분석 워크플로에 즉시 도입 가능한 수준의 효율성을 갖췄다.

정확도(WER)와 처리량(RTFx)의 관계를 나타낸 산점도 — ChartX축은 단어 오류율(낮을수록 좋음), Y축은 처리량(높을수록 좋음)을 나타내며 Cohere Transcribe가 좌상단에 위치하여 가장 이상적인 성능 균형을 보여줍니다. Whisper Large v3나 Voxtral Realtime에 비해 훨씬 높은 처리량과 낮은 오류율을 동시에 달성했음을 명확히 보여줍니다.

05

사용자는 Hugging Face를 통해 모델 가중치를 직접 다운로드하거나 Cohere의 API 및 관리형 플랫폼인 Model Vault를 통해 접근할 수 있다. 로컬 환경이나 에지 디바이스에서의 실행을 위한 설정 지침이 제공되어 유연한 배포가 가능하다. 향후 Cohere의 AI 에이전트 오케스트레이션 플랫폼인 'North'와의 통합이 예정되어 있다. 단순한 전사 모델을 넘어 기업용 음성 지능의 핵심 기반으로 진화할 계획임을 시사한다.

용어 해설

자동 음성 인식(ASR): — 음성 신호를 텍스트 데이터로 변환하는 기술로, 인공지능이 오디오 파형을 분석하여 단어와 문장을 식별하는 과정을 의미한다. 실시간 고객 지원, 회의록 작성, 음성 분석 등 다양한 엔터프라이즈 워크플로의 핵심 구성 요소로 활용된다. 정확도와 처리 속도가 모델의 성능을 결정하는 주요 지표이다.
단어 오류율(WER): — 음성 인식 모델의 정확도를 측정하는 표준 지표로, 전체 단어 수 대비 삽입, 삭제, 대체된 단어의 비율을 계산한다. 수치가 낮을수록 원문 음성과 전사된 텍스트 사이의 일치도가 높음을 의미하며, 모델의 신뢰성을 평가하는 가장 중요한 벤치마크 데이터로 사용된다.
컨포머(Conformer): — Transformer의 전역적 맥락 파악 능력과 CNN의 국소적 특징 추출 능력을 결합한 신경망 아키텍처이다. 음성 신호의 오디오 특징을 효율적으로 학습할 수 있어 최신 음성 인식 모델의 인코더 구조로 널리 채택된다. 긴 오디오 입력에서도 높은 정확도와 계산 효율성을 동시에 제공하는 것이 특징이다.
실시간 처리 배수(RTFx): — 오디오 모델이 입력 데이터를 실시간 대비 얼마나 빠르게 처리하는지를 나타내는 지표이다. 예를 들어 RTFx가 100이면 100초 분량의 오디오를 1초 만에 처리할 수 있음을 의미한다. 높은 RTFx는 낮은 지연 시간과 높은 처리량을 보장하여 실제 서비스 운영 시 인프라 비용을 절감하는 데 기여한다.
오픈 가중치(Open Weights): — 모델의 학습된 가중치(파라미터)를 대중에게 공개하여 누구나 자신의 인프라에서 모델을 직접 실행하고 미세 조정할 수 있게 한 형태이다. 사용자는 데이터를 외부 API로 전송하지 않고도 모델을 로컬이나 프라이빗 클라우드에 배포할 수 있어 보안과 제어권을 확보할 수 있다.

기술

Cohere Transcribe
Conformer
Transformer
Hugging Face
Apache 2.0

활용 사례

실시간 회의록 전사
고객 센터 음성 분석
실시간 음성 AI 에이전트
다국어 자막 생성

언급된 리소스

GitHubCohere Transcribe on Hugging Face

DemoOpen ASR Leaderboard

API DocsCohere Transcribe Documentation