핵심 요약
일반적인 음성 인식 모델은 의료 전문 용어나 특수한 배경 소음이 있는 환경에서 성능이 저하되는 한계가 있다. 이를 해결하기 위해 Heidi와 AWS, NVIDIA는 NVIDIA Nemotron Speech ASR 모델을 도메인에 맞게 파인튜닝하는 아키텍처를 구축했다. LLM과 TTS를 활용한 합성 데이터 생성부터 Amazon EC2 기반의 분산 학습, 그리고 Amazon EKS와 FSx for Lustre를 이용한 확장 가능한 추론 환경 구축까지의 전 과정을 다룬다. 이 솔루션은 오픈소스 도구와 AWS 관리형 서비스를 결합하여 보안과 성능을 모두 잡은 프로덕션급 ASR 시스템 구현을 가능하게 한다.
배경
AWS 기초 지식 (EC2, EKS, S3), 쿠버네티스(Kubernetes) 운영 경험, PyTorch 및 딥러닝 학습 개념, 도커(Docker) 컨테이너 활용 능력
대상 독자
도메인 특화 음성 인식 서비스를 구축하려는 ML 엔지니어 및 클라우드 아키텍트
의미 / 영향
이 아키텍처는 고가의 상용 ASR API에 의존하지 않고도 특정 산업 분야에 최적화된 자체 모델을 안전하게 운영할 수 있는 경로를 제시한다. 특히 데이터 보안이 중요한 의료나 금융 분야에서 AWS와 오픈소스 도구의 결합이 실질적인 대안이 될 수 있음을 보여준다.
섹션별 상세
의료 도메인 특화 데이터 부족 문제를 해결하기 위해 LLM과 신경망 TTS를 결합한 합성 데이터 생성 파이프라인을 구축했다. LLM으로 실제 임상 대화와 유사한 스크립트를 생성하고, 이를 다양한 억양의 TTS로 변환한 뒤 병원 소음을 합성하여 데이터 다양성을 확보했다.
NVIDIA Parakeet-TDT-0.6B V2 모델은 FastConformer 아키텍처와 Token-and-Duration Transducer(TDT) 디코더를 채택했다. 이 구조는 최대 24분의 긴 오디오를 한 번에 처리할 수 있으며, 벤치마크에서 6.05%의 낮은 단어 오류율(WER)을 기록했다.
Amazon EC2 p4d.24xlarge 인스턴스 8개(총 64개 NVIDIA A100 GPU)를 사용하여 대규모 분산 학습을 수행했다. DeepSpeed Stage 2 최적화와 CPU 오프로딩 기술을 적용하여 GPU 메모리 효율을 극대화하고 학습 시간을 단축했다.
추론 환경은 Amazon EKS를 기반으로 구축되었으며, Karpenter를 통한 노드 오토스케일링과 KEDA를 통한 포드(Pod) 단위 확장을 지원한다. 이를 통해 실시간 트래픽 변화에 따라 GPU 자원을 유연하게 할당한다.
Amazon FSx for Lustre를 고성능 모델 저장소로 활용하여 컨테이너 시작 시 대용량 모델 가중치를 저지연으로 로드한다. LiteLLM 기반의 AI 게이트웨이와 Langfuse를 통합하여 API 관리, 보안, 관측성을 확보했다.
실무 Takeaway
- 특수 도메인 데이터가 부족할 경우 LLM과 TTS를 활용해 노이즈가 포함된 합성 데이터를 생성함으로써 모델의 도메인 적응력을 높일 수 있다.
- DeepSpeed의 Stage 2 최적화와 CPU 오프로딩을 적용하면 대규모 ASR 모델 학습 시 GPU 메모리 병목을 해결하고 64개 이상의 GPU로 선형적인 성능 확장이 가능하다.
- Amazon EKS에서 Karpenter와 KEDA를 조합하면 추론 요청의 지연 시간 지표에 기반해 GPU 인프라를 실시간으로 확장하여 비용 효율성을 달성할 수 있다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료