Faster-Whisper와 Python을 이용한 로컬 음성 전사 구현 가이드

섹션별 상세

원본 Whisper 모델의 CPU 실행 속도 저하와 높은 메모리 점유율 문제를 해결하기 위해 Faster-Whisper가 대안으로 제시됐다. Faster-Whisper는 CTranslate2를 기반으로 재구현되어 원본 대비 최대 4배 빠른 속도를 내며 적은 RAM을 사용한다. 실제 테스트 결과 10분 분량의 오디오를 일반 CPU에서 약 2분 만에 처리할 수 있는 효율성을 보여준다. 로컬 실행 방식이므로 데이터가 외부로 유출되지 않아 보안이 중요한 프로젝트에 적합하다.

로컬 머신에서 Whisper를 이용한 음성 전사 과정을 시각화한 다이어그램 — Infographic음성 파형 데이터가 로컬 머신 내에서 텍스트 문서로 변환되는 흐름을 보여줍니다. 'Private, Secure, Offline'이라는 키워드를 통해 이 튜토리얼이 강조하는 로컬 처리의 장점을 명확히 전달합니다.

Whisper 모델의 정확한 인식을 위해서는 입력 오디오의 샘플링 레이트와 채널 최적화가 필수적이다. pydub 라이브러리를 사용하여 MP3나 M4A 같은 압축 파일을 16kHz 샘플링 레이트의 모노 WAV 형식으로 변환하는 전처리가 선행되어야 한다. 코드 예시에서는 set_channels(1)과 set_frame_rate(16000) 메서드를 통해 이를 자동화하는 방법을 제시한다. 적절한 전처리는 모델의 인식 오류를 줄이고 처리 속도를 안정화하는 데 기여한다.

python

from pydub import AudioSegment
import os

def convert_to_wav(input_path, output_path=None):
    if output_path is None:
        base, _ = os.path.splitext(input_path)
        output_path = base + ".wav"
    audio = AudioSegment.from_file(input_path)
    audio = audio.set_channels(1).set_frame_rate(16000)
    audio.export(output_path, format="wav")
    return output_path

pydub을 사용하여 오디오 파일을 Whisper가 요구하는 16kHz 모노 WAV 형식으로 변환하는 함수

추론 환경에 따라 CPU와 GPU를 선택적으로 활용할 수 있으며 양자화 설정을 통해 성능을 조절한다. WhisperModel 초기화 시 compute_type="int8"을 설정하면 8비트 정수 연산을 사용하여 CPU에서도 빠른 추론이 가능해진다. NVIDIA GPU가 있는 경우 device="cuda"와 float16 연산을 조합하여 CPU 대비 3~5배 더 높은 처리량을 확보할 수 있다. 이는 대량의 오디오 파일을 배치 처리해야 하는 실무 환경에서 매우 유용한 최적화 옵션이다.

python

from faster_whisper import WhisperModel

def transcribe_audio(wav_path, model_size="base", device="cpu"):
    model = WhisperModel(model_size, device=device, compute_type="int8")
    segments, info = model.transcribe(wav_path, beam_size=5, language="en")
    for segment in segments:
        print(f"[{segment.start:.2f}s -> {segment.end:.2f}s] {segment.text}")

Faster-Whisper를 사용하여 WAV 파일을 텍스트로 변환하는 핵심 스크립트

용어 해설

자동 음성 인식(ASR): — 음성 신호를 텍스트 데이터로 변환하는 기술입니다. Whisper와 같은 모델을 통해 배경 소음이나 다양한 억양 속에서도 높은 정확도로 음성을 기록할 수 있게 해줍니다.
CTranslate2: — Transformer 모델의 효율적인 추론을 위해 설계된 C++ 라이브러리입니다. Faster-Whisper의 핵심 엔진으로 사용되어 원본 모델보다 적은 메모리로 더 빠른 실행 속도를 제공합니다.
양자화(Quantization): — 모델의 가중치를 낮은 정밀도(예: int8)로 변환하여 계산 속도를 높이고 메모리 사용량을 줄이는 기법입니다. 이 아티클에서는 compute_type="int8" 설정을 통해 CPU 추론 효율을 극대화합니다.
빔 사이즈(Beam Size): — 디코딩 과정에서 가장 확률이 높은 상위 N개의 경로를 유지하며 탐색하는 파라미터입니다. 값이 클수록 정확도는 높아지지만 연산량이 늘어나 속도가 느려지는 트레이드오프가 존재합니다.

기술

Faster-Whisper
Python
pydub
FFmpeg
CTranslate2

활용 사례

회의록 자동 전사 시스템
로컬 비디오 자막 생성 도구
개인정보 보호 중심의 음성 비서

언급된 리소스

GitHubFaster-Whisper GitHub

문서FFmpeg 공식 사이트