챕터별 상세
IBM Granite 모델 제품군과 Docling 소개
IBM은 Granite 시리즈를 통해 언어, 비전, 음성, 임베딩 모델을 포함한 포괄적인 오픈 모델 제품군을 구축했다. 특히 Docling 모델은 복잡한 PDF 문서에서 구조화된 데이터를 추출하고 OCR 기능을 수행하는 데 탁월한 성능을 발휘한다. 이는 Microsoft의 Phi 모델 제품군이 수행하던 역할을 대체할 수 있을 만큼 강력한 대안으로 부상했다. IBM은 이러한 모델들을 Hugging Face를 통해 공개하여 개발자들이 쉽게 접근할 수 있도록 했다.
Granite Speech 4.1의 세 가지 변체 개요
Granite Speech 4.1은 약 20억 개의 파라미터를 가진 세 가지 모델로 구성된다. 첫 번째는 정확도가 가장 높은 Base 모델, 두 번째는 화자 분리와 타임스탬프 기능을 갖춘 Plus 모델, 세 번째는 비자기회귀 방식을 채택한 초고속 NAR 모델이다. 각 모델은 사용자의 요구사항이 정확도인지, 풍부한 메타데이터인지, 혹은 대량의 처리량인지에 따라 선택할 수 있도록 설계됐다. 모든 모델은 엣지 디바이스 배포가 가능할 정도로 가볍게 최적화됐다.
Base 모델: Open ASR 리더보드 1위의 정확도
Base 모델인 Granite-Speech-4.1-2B는 Hugging Face의 Open ASR 리더보드에서 5.33%의 단어 오류율(WER)을 기록하며 1위를 차지했다. 이는 실제 환경에서 약 95% 이상의 정확도를 보장한다는 의미이며, 영어, 프랑스어, 독일어 등 7개 언어를 지원한다. 또한 양방향 음성 번역(AST) 기능을 포함하여 영어와 타 언어 간의 상호 번역이 가능하다. 특히 키워드 바이어싱 기능을 통해 특정 고유 명사나 전문 용어의 인식률을 프롬프트로 조절할 수 있는 것이 큰 장점이다.
Plus 모델: 화자 분리와 정밀한 타임스탬프
Plus 모델은 텍스트 변환 외에도 화자 분리(Diarization)와 단어 단위 타임스탬프 기능을 제공한다. 화자 분리 기능을 통해 팟캐스트나 회의록에서 'Speaker 1', 'Speaker 2'와 같이 발화자를 구분하여 기록할 수 있다. 단어 단위 타임스탬프는 WhisperX와 같은 기존 도구보다 더 높은 정확도를 보여주며, 증분 디코딩을 지원해 긴 오디오를 청크 단위로 처리하면서도 화자 정보를 일관되게 유지한다. 다만 Base 모델에 비해 지원 언어가 5개로 줄어들고 일본어와 번역 기능이 제외된 점은 트레이드오프이다.
NAR 모델: 비자기회귀 방식의 초고속 추론
NAR(Non-Autoregressive) 모델은 속도와 처리량에 극단적으로 최적화된 모델이다. 기존의 자기회귀 방식이 토큰을 하나씩 생성하는 것과 달리, NAR 모델은 전체 시퀀스를 한 번에 생성하여 GPU 활용도를 극대화한다. IBM이 개발한 NLE(Non-autoregressive LLM-based Editing) 기술을 적용하여 초기 드래프트 텍스트를 생성한 후 이를 편집하는 방식으로 정확도를 유지하면서 속도를 높였다. H100 GPU에서 배치 처리를 수행할 경우 실시간 대비 1820배의 속도를 기록하며, 이는 1시간 분량의 오디오를 단 2초 만에 처리할 수 있는 수준이다.
python
import re
import torch
from datasets import Audio, load_dataset
from transformers import AutoModelForSpeechSeq2Seq, AutoProcessor
MODEL_NAME = "ibm-granite/granite-speech-4.1-2b-plus"
device = "cuda" if torch.cuda.is_available() else "cpu"
processor = AutoProcessor.from_pretrained(MODEL_NAME)
tokenizer = processor.tokenizer
model = AutoModelForSpeechSeq2Seq.from_pretrained(MODEL_NAME)
model.eval()IBM Granite Speech 4.1 Plus 모델을 로드하고 추론을 위한 환경을 설정하는 코드
모델 아키텍처와 NLE 기술의 원리
NAR 모델의 핵심인 NLE 아키텍처는 세 가지 구성 요소로 이루어진다. 먼저 16레이어의 Conformer 인코더가 오디오에서 특징을 추출하고 드래프트 텍스트를 생성한다. 이후 Q-Former가 인코더의 출력을 다운샘플링하여 LLM의 입력 형식에 맞게 변환한다. 마지막으로 양방향 사전 학습 LLM이 LoRA를 통해 미세 조정되어 드래프트 텍스트를 복사, 삽입, 삭제, 교체하며 최종 결과물을 완성한다. 이 방식은 자기회귀 모델의 순차적 디코딩 병목 현상을 해결하여 병렬 처리를 가능하게 한다.
로컬 환경에서의 코드 구현 및 실습
Granite Speech 모델은 Transformers 라이브러리를 통해 로컬 GPU 환경에서 쉽게 실행할 수 있다. 실습에서는 RTX Pro 6000 GPU를 사용하여 Plus 모델의 화자 분리 및 타임스탬프 기능을 시연했다. 코드는 AutoProcessor와 AutoModelForSpeechSeq2Seq를 사용하여 모델을 로드하며, 특정 프롬프트를 통해 화자 분리나 타임스탬프 모드를 활성화한다. 개발자는 GitHub에 공개된 노트북 파일을 참고하여 자신의 데이터셋에 맞게 모델을 미세 조정하거나 에이전트 기술에 통합할 수 있다.
용어 해설
- 자동 음성 인식(ASR)
- — 음성 신호를 텍스트 데이터로 변환하는 기술이다. 딥러닝 모델을 통해 음향 특징을 추출하고 언어 모델과 결합하여 문장을 생성하며, 실시간 자막 생성이나 음성 비서 서비스의 핵심 기반이 된다.
- 단어 오류율(WER)
- — 음성 인식 시스템의 정확도를 측정하는 표준 지표이다. 인식된 결과에서 삽입, 삭제, 대체된 단어의 수를 전체 단어 수로 나누어 계산하며, 수치가 낮을수록 모델의 성능이 우수함을 의미한다.
- 화자 분리(Diarization)
- — 오디오 스트림에서 '누가 언제 말했는지'를 구분하여 레이블을 지정하는 과정이다. 여러 명이 참여하는 회의나 인터뷰 녹취록 작성 시 화자별로 텍스트를 분류하기 위해 필수적으로 사용되는 기술이다.
- 비자기회귀(Non-Autoregressive)
- — 출력 토큰을 하나씩 순차적으로 생성하는 대신 전체 시퀀스를 병렬로 한꺼번에 생성하는 방식이다. 추론 속도가 자기회귀 방식보다 월등히 빠르지만, 토큰 간의 의존성을 고려하기 어려워 정확도 유지가 기술적 난제이다.
- 실시간 처리 배수(RTFx)
- — 1초의 컴퓨팅 시간 동안 처리할 수 있는 오디오의 길이를 나타내는 성능 지표이다. 예를 들어 RTFx가 200이면 1초 만에 200초 분량의 오디오를 처리할 수 있다는 의미로, 시스템의 처리량을 평가하는 데 사용된다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 05. 07.수집 2026. 05. 07.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
