pyannote/speaker-diarization-community-1
화자 분리, 화자 수 추정, 화자 변경 감지, 음성 활동 및 겹침 발화 감지cc-by-4.0
오디오를 화자별 발화 구간으로 나누고 transcription 정합용 exclusive 결과까지 생성하는 로컬 실행형 pipeline
TL;DR
Community-1은 별도 Fine-tuning 모델이 아니라 pyannote-audio에서 실행하는 사전학습 speaker diarization pipeline이다. 입력 오디오를 mono 16kHz로 맞춘 뒤 화자별 발화 구간과 화자 수를 추정하고, 일반 결과와 transcription timestamp 정합에 쓰는 exclusive 결과를 함께 생성한다. 로컬 CPU·GPU와 인터넷이 없는 offline 환경에서 실행할 수 있어 회의 녹취, 통화 기록, 화자 인식이 필요한 음성 처리에 적합하다. 대규모 학술 벤치마크에서 대부분 speaker-diarization-3.1보다 낮은 DER을 기록했지만 REPERE에서는 8.9%로 legacy의 7.9%보다 높았다.
핵심 포인트
- mono 16kHz 입력을 요구하지만 다채널 오디오는 평균 downmix하고 다른 sampling rate는 자동 resampling합니다.
- exclusive speaker diarization을 함께 생성해 세밀한 화자 구간과 transcription timestamp를 맞추는 작업을 단순화합니다.
- Pipeline을 CPU 기본값으로 실행하거나 CUDA로 이동할 수 있고, 파일을 내려받아 인터넷 없이 로컬에서 처리합니다.
- 대부분 벤치마크에서 speaker-diarization-3.1보다 DER이 낮지만 REPERE에서는 legacy 7.9%보다 높은 8.9%를 기록합니다.
제한사항
- 사용 전에 Hugging Face의 사용자 조건을 수락하고 access token을 생성해야 합니다.
- 입력은 로딩 단계에서 mono 16kHz로 변환되므로 원본의 채널 구성과 sampling rate 정보가 그대로 유지되지 않습니다.
벤치마크
| 벤치마크 | 지표 | 값 | 비교 |
|---|---|---|---|
| AISHELL-4 | DER (%) | 11.7 | speaker-diarization-3.1: 12.2, precision-2: 11.4 |
| AliMeeting (channel 1) | DER (%) | 20.3 | speaker-diarization-3.1: 24.5, precision-2: 15.2 |
| AMI (IHM) | DER (%) | 17.0 | speaker-diarization-3.1: 18.8, precision-2: 12.9 |
| AMI (SDM) | DER (%) | 19.9 | speaker-diarization-3.1: 22.7, precision-2: 15.6 |
| AVA-AVD | DER (%) | 44.6 | speaker-diarization-3.1: 49.7, precision-2: 37.1 |
| CALLHOME (part 2) | DER (%) | 26.7 | speaker-diarization-3.1: 28.5, precision-2: 16.6 |
| DIHARD 3 (full) | DER (%) | 20.2 | speaker-diarization-3.1: 21.4, precision-2: 14.7 |
| Ego4D (dev.) | DER (%) | 46.8 | speaker-diarization-3.1: 51.2, precision-2: 39.0 |
| MSDWild | DER (%) | 22.8 | speaker-diarization-3.1: 25.4, precision-2: 17.3 |
| RAMC | DER (%) | 20.8 | speaker-diarization-3.1: 22.2, precision-2: 10.5 |
| REPERE (phase2) | DER (%) | 8.9 | speaker-diarization-3.1: 7.9, precision-2: 7.4 |
| VoxConverse (v0.3) | DER (%) | 11.2 | speaker-diarization-3.1: 11.2, precision-2: 8.5 |
1.4k
LIKES
5.1M
DOWNLOADS
0 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.
