음성 Fine-tuning 성능을 좌우하는 기준 전사와 세그먼트

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

Whisper와 pyannote 기반 음성 인식·화자 분리 시스템의 성능은 모델 크기보다 일관된 기준 전사와 세그먼트 경계에 크게 좌우됩니다. Whisper-medium은 도메인 음성 1시간만으로 WER가 13.10%에서 9.56%로 낮아졌고, 133시간에서도 8.86%에 그쳐 초기 데이터의 효율이 높았으며, 세그먼테이션은 10개 녹음만으로 DER를 절반 수준까지 낮췄습니다. 반면 verbatim과 intended transcription을 섞으면 모델이 추임새를 불규칙하게 출력하고, 단일 ASR 모델의 의사 라벨을 그대로 쓰면 평가 지표가 자기모방을 보상할 수 있습니다. 따라서 전사 관행을 먼저 버전 관리하고, 침묵 기반 분할과 화자 전환을 우선 라벨링하며, 독립 모델 간 일치 샘플만 활용하고, 하이퍼파라미터 탐색에서도 완전히 분리된 검증 데이터를 유지해야 합니다.

섹션별 상세

음성 인식과 화자 분리 모델은 일반 음성으로 사전 학습되어도 산업 용어, 저자원 언어, 특정 마이크 환경과 겹쳐 말하기를 충분히 처리하지 못할 수 있습니다. Fine-tuning은 사전 학습 가중치를 도메인 음성에 이어 학습시켜 어휘와 녹음 조건을 맞추며, Whisper의 Dhivehi 사례처럼 약 7시간의 학습 데이터로도 출발점 모델을 조정할 수 있습니다. 다만 잡음이 많거나 라벨 정책이 흔들리는 자료를 학습하면 base model보다 성능이 낮아질 수 있으므로, 데이터 제작이 GPU 실행보다 중요한 병목으로 남습니다.

Whisper Fine-tuning은 16kHz 오디오를 입력으로 받아 30초 단위 배열을 log-mel spectrogram으로 변환하고, 전사는 tokenizer를 거쳐 decoder의 label ID로 사용합니다. 입력 특징과 길이가 다른 라벨 시퀀스를 서로 다른 방식으로 padding하는 custom data collator가 필요하며, 라벨 padding은 loss에서 무시하도록 처리해야 합니다. Hugging Face 기준 구현은 약 10시간의 라벨 오디오와 16GB T4 GPU에서 500 step 학습을 1시간 이내에 수행하지만, validation WER가 정체되거나 상승하는지 함께 확인해야 과적합을 잡을 수 있습니다.

라벨 오디오의 효율은 초기에 가장 크게 나타났습니다. 아동 음성에서 Whisper-medium은 zero-shot 13.10% WER에서 도메인 데이터 1시간 후 9.56%, 10시간 후 9.19%, 133시간 후 8.86%로 이동했으며, 추가 데이터의 수익은 점차 줄었습니다. LoRA-Whisper는 전체 Fine-tuning과 비슷한 결과를 약 5%의 파라미터만 학습해 얻었지만, 새 언어 데이터만으로 전체 모델을 조정하면 기존 언어 WER가 거의 세 배가 되고 네 언어를 한 번에 합친 Fine-tuning도 평균 WER를 9.19%에서 11.68%로 악화시켰습니다.

화자 분리 파이프라인에서는 speaker embedding보다 segmentation을 먼저 조정해야 합니다. embedding은 음향 특성을 사용해 언어와 도메인을 비교적 잘 넘나들지만, segmentation은 방의 반향, 마이크 구성, 겹쳐 말하는 방식에 따라 화자 활동의 시작과 끝을 결정하기 때문입니다. Bengali 10개 녹음에서 세그먼테이션 Fine-tuning은 DER를 0.405에서 0.257로 낮췄고, 고정된 30초 분할은 경계마다 평균 2.3개의 단어 경계 오류를 만들었지만 침묵 인식 분할은 0.4개에 그쳤습니다.

전사 스타일은 같은 음성에서 정보 회수 실패와 별개로 WER를 크게 움직입니다. AMI처럼 회의 음성에서는 verbatim 전사와 intended 전사가 동일한 내용 단어를 담아도 서로 12.1% WER만큼 어긋날 수 있고, Whisper의 보고 WER 중 약 60%가 인식 실패가 아닌 스타일 차이로 귀결됩니다. 학습 자료가 15%에서 85% 사이의 혼합 정책에 머물면 모델이 두 관행 사이에서 추임새를 무작위로 출력하므로, 첫 주석 작업 전에 기준을 선언하고 필요하면 control token으로 동작을 구분해야 합니다.

오디오 가이드라인은 받아쓰라는 지시보다 세밀해야 합니다. 화자 활동, 웃음·기침 같은 비언어 사건, 배경음, 단어별 언어, 전사 결과를 별도 층으로 정의하고 화자 전환과 code-switching이 충돌할 때의 우선 규칙을 정해야 하며, 음악과 침묵을 명시적인 null 구간으로 남겨야 모델의 환각을 줄일 수 있습니다. AMI Corpus가 코딩 매뉴얼과 신뢰도 문서를 분리해 버전 관리하는 방식처럼, 교차 코딩 표본과 불일치 위치를 기록해야 실제 적용 여부를 확인할 수 있습니다.

사람 주석과 모델 출력은 서로 다른 오류 분포를 갖습니다. HTEC의 1,000개 오류 전사에서 사람 오류는 오인 청취 50.41%, 도메인 지식 부족 18.37%, 철자 11.63%, 문법 11.02%, 관행 위반 8.57% 순이었고, 사람은 삽입 37.3%와 삭제 27.7%를 보인 반면 ASR은 삽입 16.3%와 삭제 42.1%를 보였습니다. 사람 전사를 추가로 교정하는 검수와 모델 사전 라벨을 처음부터 확인하는 검수는 서로 다른 오류를 찾아야 하며, 인간 전사의 오류가 1% 늘면 그 자료로 학습한 모델 WER가 약 2% 증가한다는 수치도 데이터 품질 관리의 근거가 됩니다.

단일 모델이 만든 사전 라벨을 검토 없이 정답으로 쓰면 모델이 자기 출력의 오류를 다시 학습할 수 있습니다. ShobdoSetu 사례에서는 같은 ASR 시스템이 만든 참조를 사용해 private test WER 15.551%가 public test WER 16.751%보다 좋아졌지만, 이는 실제 일반화보다 참조 생성기의 문체를 모방한 결과에 가깝습니다. 반대로 독립 모델 간 일치만 보존한 ASR 데이터 선별에서는 7,500시간을 100시간으로 줄여도 WER가 12.3%로 유지됐으므로, 모델 간 합의는 비용을 줄이는 방어적 필터로 활용할 수 있습니다.

Fine-tuning이 실제로 작동했는지는 학습·검증·하이퍼파라미터 탐색을 분리한 평가로 확인해야 합니다. 같은 10개 녹음을 Fine-tuning과 파라미터 탐색에 함께 쓴 사례에서는 public DER 0.19974와 private DER 0.26723 사이에 6.7포인트 차이가 났고, 테스트셋으로 self-training한 Whisper가 13.88%를 기록한 사례는 오염된 평가의 위험을 드러냈습니다. ASR에는 WER만 고정하지 말고 음성 비서의 intent·entity 정확도, 화자 분리의 missed speech·false alarm·confusion, 의료 전사의 핵심 용어 정확도처럼 실제 업무 오류를 반영하는 지표를 배치해야 합니다.

도메인 Fine-tuning은 EU AI Act상 provider 책임을 이동시킬 가능성도 갖습니다. Article 25는 제3자가 고위험 시스템을 재브랜딩하거나 실질적으로 수정하거나 의도된 목적을 고위험 용도로 바꾸면 provider 지위를 부여할 수 있으며, 이 경우 Fine-tuning을 수행한 주체에 Article 10의 데이터 거버넌스와 주석 문서 의무가 걸릴 수 있습니다. 다만 Digital Omnibus로 조문이 수정되었다는 안내가 있으므로 Commission의 최신 문구를 확인해야 하고, 모델 가중치보다 기준 전사·코딩 매뉴얼·신뢰도 보고서를 재현 가능하게 보관하는 일이 규제 대응의 핵심이 됩니다.

용어 해설

단어 오류율(Word Error Rate): — 음성 인식 결과와 정답 전사의 단어 단위 차이를 삽입·삭제·대체 오류로 계산한 지표입니다. 같은 음성이라도 구두점, 추임새, 말더듬을 얼마나 기록하는지에 따라 값이 크게 달라지므로 전사 정책과 함께 해석해야 합니다.
화자 분리 오류율(Diarization Error Rate): — 화자 분리 시스템이 각 시간 구간의 화자를 얼마나 정확히 구분했는지 측정하는 지표입니다. 음성 누락, 비화자 음성 검출, 화자 혼동을 반영하며, 세그먼트 경계와 겹쳐 말하기 처리 방식에 따라 결과가 달라집니다.
매개변수 효율적 Fine-tuning(Parameter-Efficient Fine-Tuning): — 사전 학습 모델의 모든 가중치를 갱신하지 않고 일부 계층이나 추가된 작은 가중치만 학습하는 방식입니다. LoRA처럼 학습 대상 파라미터와 메모리 사용량을 줄이면서 기존 언어 지식의 손실을 완화하는 데 쓰입니다.
치명적 망각(Catastrophic Forgetting): — 새로운 도메인 데이터에 맞추는 과정에서 모델이 기존에 학습한 언어와 능력을 급격히 잃는 현상입니다. 작은 데이터셋으로 전체 가중치를 Fine-tuning하면 원래 언어의 WER가 거의 세 배까지 악화될 수 있어 계층 고정이나 LoRA가 대안이 됩니다.
의사 라벨(Pseudo-Label): — 사람 대신 음성 인식 모델이 생성한 전사나 세그먼트 태그를 학습 데이터의 임시 정답으로 사용하는 방식입니다. 단일 모델의 출력을 검증 없이 재사용하면 모델이 자신과 같은 오류를 학습하므로, 독립 모델 간 일치 여부를 필터로 삼는 절차가 필요합니다.
주석자 간 일치도(Inter-Annotator Agreement): — 같은 자료를 여러 주석자가 독립적으로 라벨링했을 때 결과가 얼마나 일치하는지 나타내는 품질 지표입니다. 화자, 단어, 시간 경계를 동시에 평가한 speaker-attributed transcription에는 아직 통합된 공개 수치가 없어 별도 교차 코딩 연구가 필요합니다.