TL;DR

Whisper large-v3는 1,550M 파라미터의 멀티링구얼 사전학습 Transformer encoder-decoder ASR 체크포인트로, 1백만 시간의 약한 레이블과 4백만 시간의 의사 라벨을 혼합해 학습하여 다언어 제로샷 일반화 성능을 끌어올린 모델입니다. 입력은 128 Mel 빈 스펙트로그램으로 처리되며 자동 언어 검출, transcription·translate 작업 전환, 문장·단어 타임스탬프 반환 같은 유연한 출력 제어를 제공합니다. 대규모 노이즈 데이터 사용으로 일부 언어에서 홀루시네이션과 불균형한 성능이 발생할 수 있으나 Transformers 파이프라인, chunked/ sequential 장기 처리, torch.compile 및 Flash Attention 2 같은 최적화로 실사용 성능과 처리량을 개선할 수 있습니다.

핵심 포인트

• 모델 구조와 규모에 관해 Whisper large-v3는 Transformer 기반 encoder-decoder 아키텍처를 사용하며 대형(multilingual large) 체크포인트로 1,550M 파라미터를 갖고 있습니다. 멀티링구얼 학습 설정에서 음성 인식과 영어 번역(translate)을 동시에 수행할 수 있고, 문장·단어 단위 타임스탬프를 반환하도록 구성할 수 있습니다. 스펙트로그램 입력은 128 Mel 빈을 사용하도록 변경되어 이전 버전과의 입력 전처리 차이를 명확히 합니다.
• 학습 데이터와 개선점에 대해 large-v3는 1백만 시간의 약한 레이블(weakly labeled) 오디오와 Whisper large-v2로 생성한 4백만 시간의 의사 라벨(pseudo-labeled) 오디오를 혼합한 데이터로 학습되었으며, 이 혼합 데이터셋에 대해 2.0 에폭만큼 학습이 진행되었습니다. 이렇게 대규모의 약 supervision 데이터 활용으로 다수 언어와 도메인에 대한 제로샷 일반화 능력이 강화되었고, OpenAI 측 평가는 large-v2 대비 오류율이 10%~20% 감소했다고 보고하고 있습니다. 또한 Cantonese용 언어 토큰 추가와 Mel bin 확장(80→128) 같은 세부 변경이 모델 성능 향상에 기여한 요소로 표기되어 있습니다.
• 실사용·디코딩 기능 측면에서는 Transformers pipeline으로 쉽게 호출할 수 있으며 temperature fallback, condition_on_prev_tokens, compression_ratio_threshold, logprob_threshold, no_speech_threshold 같은 Whisper 고유의 디코딩 히어리스틱을 모두 사용할 수 있습니다. 타임스탬프 반환, 언어 고정 인자 전달, transcription과 translate 작업 전환 등 유연한 입출력 제어가 가능하고, 배치 기반 병렬 처리로 다중 파일 동시 추론이 지원됩니다. 모델 로딩 시 low_cpu_mem_usage나 safetensors 옵션을 권장하며, generate/generation_config를 통해 토큰 생성 행태를 세밀하게 조정할 수 있습니다.
• 배포와 성능 최적화 측면에서는 긴 오디오 처리 알고리즘(Sequential vs Chunked) 선택지와 함께 chunk_length_s=30s, batching 옵션 추천이 제공됩니다. PyTorch의 torch.compile을 사용하면 정적 캐시와 함께 모델 포워드의 속도를 대폭 개선할 수 있으며(공식 예제에서 4.5배 가속 사례 언급), GPU가 지원하면 Flash Attention 2를, 그렇지 않으면 PyTorch SDPA 구현을 권장하고 있습니다. 이들 최적화는 VRAM 요구량과 추론 지연을 낮추어 실제 서비스 환경에서 처리량을 높이는 실무적 이점을 제공합니다.

제한사항

벤치마크