MinusPod 팟캐스트 광고 제거를 위한 32개 LLM 벤치마크 결과

대체로 긍정적이며, 벤치마크 방법론과 결과에 대한 기술적 토론이 이루어지고 있습니다.

• 광고 제거와 같은 특정 작업에는 비용이 높은 프론티어 모델보다 Qwen 3.5 Plus와 같은 효율적인 모델이 더 나은 성능을 보일 수 있다.
• 모델 선택 시 단순히 성능뿐만 아니라 JSON 스키마 준수율을 반드시 확인해야 한다.

• Qwen 3.5 Plus(무료 티어)가 GPT-5.5 등 유료 모델을 제치고 광고 탐지 F1 점수 0.649로 1위를 기록했다.
• 대부분의 LLM은 재현율(Recall)에 편향되어 있어 실제 광고가 아닌 구간을 광고로 오인하는 경향이 강하다.
• 모델 선택 시 성능뿐만 아니라 JSON 스키마 준수율이 실무 파이프라인의 안정성에 큰 영향을 미친다.
• 벤치마크 성능은 Whisper의 전사 품질에 의해 상한선이 결정되므로, 전사 단계의 최적화가 선행되어야 한다.