Whisper 모델의 무음 구간 환각 현상 분석 및 실전 해결 가이드

대체로 긍정적이며 많은 사용자가 Whisper를 프로덕션에 적용하며 겪었던 동일한 고충을 공유했다. 특히 공개된 135개의 블록리스트가 실무적으로 매우 유용하다는 평가가 지배적이다.

• Silero VAD를 임계값 0.5로 설정하여 Whisper 호출 전 전처리기로 사용하라.
• 환각의 연쇄 확산을 막기 위해 condition_on_previous_text 옵션을 False로 설정하라.
• beam_size를 1로 설정하여 무음 구간에서 모델이 억지로 문장을 완성하지 못하게 하라.
• Vexa 팀이 공개한 135개 환각 문구 블록리스트를 적용하여 결과물을 필터링하라.

음성 활동 감지(VAD)

— 오디오 신호 내에서 실제 인간의 음성이 존재하는 구간을 식별하는 기술이다. Whisper와 같은 모델을 호출하기 전에 무음이나 노이즈를 걸러내는 전처리 게이트 역할을 수행하여 연산 효율을 높이고 환각 발생을 억제하는 데 중요하다.

환각 현상(Hallucination)

— AI 모델이 입력 데이터에 존재하지 않는 정보를 마치 사실인 것처럼 그럴듯하게 생성해내는 현상이다. Whisper의 경우 무음 구간에서 학습 데이터에 포함된 유튜브 엔딩 멘트나 자막 워터마크 문구를 임의로 생성하는 형태로 나타난다.

빔 서치(Beam Search)

— 텍스트 생성 시 각 단계에서 가장 확률이 높은 상위 K개의 후보를 유지하며 최적의 문장을 찾는 탐색 알고리즘이다. 빔 크기가 클수록 더 정교한 문장을 찾지만, 무음 구간에서는 오히려 잘못된 환각 문장을 끝까지 완성하려는 부작용을 초래한다.

연결주의 시간적 분류(CTC)

— 음성 신호와 텍스트 레이블 사이의 명시적인 정렬 없이 모델을 학습시키는 기법이다. 무음 구간에서 공백 토큰을 출력하도록 설계되어 있어, Whisper와 같은 시퀀스-투-시퀀스 아키텍처 모델보다 무음 환각 문제에 훨씬 강한 면모를 보인다.

무음 확률 플래그(no_speech_prob)

— Whisper 모델이 특정 오디오 세그먼트에 음성이 포함되지 않았을 확률을 계산하여 제공하는 내부 지표이다. 하지만 실제 프로덕션 환경에서는 정확도가 낮아 단독으로 무음을 감지하고 환각을 차단하기에는 한계가 명확하다.