TL;DR

transcribe.cpp는 GGUF 형식의 음성 모델을 ggml 런타임으로 로드해 Metal·Vulkan·CUDA 및 tinyBLAS/BLAS 가속을 통해 스트리밍과 배치 추론을 지원하는 C/C++ 기반 음성인식 엔진이다. 프로젝트는 16개 모델 계열, 60개 이상의 변형을 공식적으로 지원하며 각 모델에 대해 숫자 검증과 WER 테스트를 거쳐 배포 아티팩트를 제공한다. 빌드 시 플랫폼별 가속 선택과 transcribe-quantize 도구로 양자화 프리셋을 적용해 제한된 하드웨어에서도 실행 가능하게 만든다. 결과적으로 다양한 하드웨어에서 일관된 추론 경로를 확보하고 모델 포팅·검증·배포 워크플로를 통합하여 실전 배포 비용과 복잡성을 줄이도록 설계되었다.

주요 기능

• 다양한 모델 계열을 로드하고 실행할 수 있으며 16개 모델 계열과 60개 이상의 변형을 공식적으로 지원한다. 각 모델은 handy-computer에서 GGUF로 배포되며 숫자 검증과 WER 테스트를 통과한 것으로 표기되어 있다. 스트리밍과 배치 양쪽 워크플로를 모두 지원해 실제 서비스 통합에 유리하다.
• 여러 하드웨어 백엔드를 제공하여 플랫폼별 가속을 활용할 수 있다. Apple Silicon에서는 Metal이 자동 활성화되고 Linux/Windows에서는 Vulkan과 CUDA 백엔드를 cmake 플래그로 선택할 수 있다. CPU 경로는 tinyBLAS 가속과 libopenblas의 선택적 사용으로 호스트 디코더 처리 속도를 크게 개선한다.
• 모델 변환 및 양자화 도구를 포함하여 배포용 경량 모델을 생성할 수 있다. NeMo 체크포인트에서 GGUF로 변환하는 스크립트와 transcribe-quantize를 통한 프리셋 기반 양자화(F16, Q8_0, Q6_K, Q5_K_M, Q4_K_M)를 제공한다. 양자화된 모델은 메모리 제약 환경에서 실시간 추론 가능성을 높인다.
• 여러 언어 바인딩을 제공하여 다양한 개발 환경에서 통합이 가능하다. Python, TypeScript/JavaScript, Rust, Swift/ObjC용 바인딩이 준비되어 있어 애플리케이션에서 C API를 직접 호출하지 않고도 기능을 활용할 수 있다. 바인딩 생성과 동기화 방식에 대한 문서가 별도로 제공되어 유지보수가 용이하다.

어떻게 동작하는가

transcribe.cpp는 GGUF 형식의 모델을 ggml 런타임으로 로드하여 내부 연산을 ggml의 최적화 루틴으로 실행한다. 플랫폼별 가속을 위해 Metal, Vulkan, CUDA 백엔드를 지원하며 CPU에서의 호스트 디코더는 tinyBLAS와 libopenblas를 통해 벡터·행렬 연산을 가속한다. 모델 포맷 변환과 양자화 도구를 통해 원본 체크포인트로부터 GGUF 파일을 생성하고 여러 정밀도 프리셋으로 양자화해 메모리와 연산 부담을 줄인다.

해결 문제

다양한 ASR 모델 포맷과 아키텍처를 한 런타임에서 일관되게 실행하는 어려움을 해소한다. GGUF 표준을 중심으로 모델 호환성을 확보하고, Metal·Vulkan·CUDA 등 플랫폼별 가속을 통해 서로 다른 하드웨어에서 일관된 추론 성능을 얻을 수 있게 한다. 또한 모델 변환·양자화 워크플로를 제공해 제한된 자원 환경에서도 실질적으로 배포 가능한 모델을 만들어 준다.

지금 주목받는 이유

다양한 ASR 아키텍처를 ggml 기반 런타임으로 통합하고 Metal·Vulkan·CUDA를 통한 광범위한 하드웨어 가속을 제공함으로써 실시간 음성 인식의 배포 비용과 복잡성을 낮춘 점이 주목을 받았다.

차별점

• 여러 모델 계열에 대해 단일 런타임에서 숫자 검증과 WER 테스트를 거친 GGUF 바이너리를 공식적으로 제공한다. 이로 인해 포팅 보정과 성능 회귀 여부를 빠르게 확인할 수 있고, 모델별 레퍼런스를 일관되게 유지할 수 있다. 타 솔루션 대비 포괄적인 모델 카탈로그와 검증 기록이 장점이다.
• 플랫폼별 네이티브 백엔드를 모두 지원하여 하드웨어 선택의 폭을 넓힌다. Apple Silicon에서는 Metal이 자동 활성화되고 Linux/Windows에서는 Vulkan과 CUDA를 선택할 수 있으며 이는 동일 코드베이스로 다양한 환경에서 가속 추론을 실현하게 한다. 결과적으로 개발자는 타겟 하드웨어에 맞춘 별도 엔진 개발 부담을 줄일 수 있다.
• 양자화 및 변환 도구를 함께 포함하여 배포 단계까지 엔드투엔드 워크플로를 제공한다. transcribe-quantize를 통해 다중 프리셋 양자화를 수행하고 NeMo 체크포인트를 GGUF로 변환하는 스크립트를 통해 소스부터 배포형 아티팩트까지 연결된다. 이 통합은 모델 포팅과 경량화 반복을 단축한다.

사용 사례

• 온디바이스 또는 엣지 환경에서 실시간 음성 인식을 수행하는 데 사용될 수 있다. GGUF로 양자화된 모델을 통해 메모리와 연산 자원이 제한된 장치에서도 스트리밍 추론을 실현할 수 있다. 대화형 인터페이스나 회의 녹취 같은 낮은 레이턴시 요구 사례에 적합하다.
• 서버 측 배치 또는 스트리밍 파이프라인에서 다양한 모델을 실험하고 비교하는 데 활용할 수 있다. handy-computer에서 공개한 여러 모델 변형을 동일 환경에서 WER 기준으로 비교해 포괄적 검증을 수행할 수 있다. 모델 포팅과 검증이 반복되는 연구·QA 파이프라인에서 이점을 제공한다.
• 멀티언어 또는 도메인 특화 ASR을 서비스에 통합하는 초기 검증용으로 사용될 수 있다. README에 나열된 MedASR, Nemotron 등 전문 모델을 통해 의료·다국어·화자 분리 등 특화 요구를 실험하고 서비스 제공 전 성능을 확인할 수 있다. 변환 및 양자화 워크플로가 포함되어 있어 프로덕션 전환이 수월하다.

시작하기

로컬에서 시작하려면 소스 루트에서 cmake -B build와 cmake --build build를 실행해 기본 바이너리를 생성한다. Linux에서 Vulkan을 사용하려면 시스템 의존성 패키지 설치 후 cmake -DTRANSCRIBE_VULKAN=ON로 빌드하고 CUDA 환경이라면 -DTRANSCRIBE_CUDA=ON 플래그로 빌드해야 한다. 빌드 후 samples/jfk.wav 같은 16 kHz 모노 WAV 파일을 build/bin/transcribe-cli로 전사해 동작을 확인할 수 있다.

요구사항

• 빌드 도구로 CMake와 표준 C/C++ 빌드 체인(build-essential 또는 Visual Studio)이 필요하다. GPU 가속을 사용하려면 해당 플랫폼의 드라이버와 Vulkan SDK 또는 CUDA 툴킷(nvcc)이 설치되어 PATH에 등록되어 있어야 한다. 호스트 디코더 가속을 위해 libopenblas-dev 설치가 권장되며 없을 경우 자동으로 스칼라 경로로 대체된다.

벤치마크