iOS에서 Kokoro TTS를 활용한 고성능 오디오북 리더기 구현기

실용적 조언

iOS 백그라운드 오디오 앱 개발 시 MLX Swift보다는 CPU 기반 ONNX Runtime을 고려할 것
성능 최적화를 위해 Apple Accelerate 프레임워크를 적극 활용할 것
CPU 추론 시 속도가 중요하다면 양자화되지 않은 모델을 우선적으로 테스트할 것

섹션별 상세

iOS의 Metal 프레임워크 제약으로 인한 백그라운드 오디오 재생 문제를 제기했다. MLX Swift는 Metal을 사용하여 성능이 뛰어나지만, 앱이 백그라운드로 전환되는 즉시 iOS가 Metal 접근을 차단하여 오디오가 끊기는 현상이 발생한다. 이를 해결하기 위해 GPU 기반의 Metal 대신 CPU 기반의 ONNX Runtime을 대안으로 선택하여 백그라운드 지속성을 확보했다.

CPU 기반 추론 시 발생하는 낮은 성능과 발열 문제를 해결하기 위해 모델 구조를 최적화했다. 단일 구조의 Kokoro 모델을 멀티 스테이지 파이프라인으로 분리하고, 합성 과정의 일부를 Apple의 Accelerate 프레임워크 기반 네이티브 코드로 대체했다. 이 과정을 통해 실시간 대비 2-3배 수준이던 추론 속도를 20배까지 끌어올렸으며 장시간 구동 시의 기기 발열 문제를 완전히 해결했다.

모바일 CPU 환경에서 양자화(Quantization)가 오히려 추론 속도를 저하시키는 현상을 관찰했다. 일반적으로 모델 크기를 줄이기 위해 양자화를 사용하지만, CPU 연산 시에는 압축 해제나 비표준 비트 연산 오버헤드로 인해 실시간 성능이 떨어질 수 있음을 확인했다. 앱 용량 제한이 엄격하지 않다면 최상의 성능을 위해 비양자화 모델을 사용하는 것이 유리하다는 실무적 결론을 도출했다.

용어 해설

코코로(Kokoro): — 가벼우면서도 고품질의 음성을 생성하는 오픈소스 텍스트 음성 변환(TTS) 모델이다. 모바일 기기에서도 실행 가능한 효율적인 아키텍처를 갖추고 있어 온디바이스 AI 구현에 자주 활용된다.
액셀러레이트 프레임워크(Accelerate Framework): — Apple 기기의 CPU에서 고성능 벡터 및 행렬 연산, 디지털 신호 처리 등을 수행하기 위한 라이브러리이다. 하드웨어에 최적화된 연산을 제공하여 AI 추론 속도를 크게 향상시킬 수 있다.
메탈(Metal): — Apple의 GPU 가속 API이다. 그래픽 렌더링과 데이터 병렬 연산을 지원하지만, iOS 정책상 앱이 백그라운드로 이동하면 보안 및 자원 관리 목적으로 접근이 제한되는 특성이 있다.
ONNX 런타임(ONNX Runtime): — 다양한 프레임워크에서 학습된 모델을 여러 하드웨어 가속기에서 실행할 수 있게 해주는 고성능 추론 엔진이다. iOS에서는 CPU를 통한 안정적인 백그라운드 연산을 위해 사용되기도 한다.

언급된 도구

Kokoro추천

고품질 텍스트 음성 변환(TTS) 모델

MLX Swift중립

Apple 실리콘용 머신러닝 프레임워크

ONNX Runtime추천

크로스 플랫폼 모델 추론 엔진

Apple Accelerate추천

CPU 고성능 연산 최적화 라이브러리

언급된 리소스

DemoMorph Books App Store