Tesla P40에서 vLLM으로 Qwen3 ASR 실시간 전사 구현 성공

커뮤니티 반응

작성자가 공유한 GitHub 저장소와 기술적 시도에 대해 긍정적인 반응이 예상되며, 구형 하드웨어 활용 가능성에 대한 관심이 높다.

Tesla P40 GPU는 Pascal 아키텍처 기반으로 최신 추론 프레임워크인 vLLM에서 공식적인 하드웨어 가속 지원이 부족한 상태였다. 작성자는 실시간 전사를 위해 오디오 샘플을 청킹하는 방식 대신 vLLM 엔진 자체를 수정하는 실험적인 접근을 선택했다.

Codex를 활용하여 vLLM 소스 코드를 Pascal 아키텍처에 맞게 수정함으로써 Tesla P40에서 Qwen3 ASR 1.7B 모델의 하드웨어 가속을 이끌어냈다. 이를 통해 지연 시간을 최소화하고 완전한 실시간 전사 기능을 구현하는 데 성공했다.

작성자는 수정된 vLLM 코드를 GitHub 포크 저장소(vllm-pascal)를 통해 공개하여 동일한 구형 하드웨어를 사용하는 사용자들도 혜택을 볼 수 있게 했다. 현재는 텍스트 및 음성 인식 위주로 작동하며, 향후 더 복잡한 모델로의 확장을 염두에 두고 있다.

차기 목표인 Qwen3.5 모델 적용에는 기술적 난관이 예상된다. 특히 비전 기능의 비활성화 문제와 텍스트 전용 모드에서도 발생하는 여러 호환성 이슈로 인해 Pascal 아키텍처에서의 완전한 구동 여부는 불투명한 상태이다.

파스칼 아키텍처(Pascal Architecture): — NVIDIA의 2016년형 GPU 아키텍처로, Tesla P40 등이 이에 해당한다. 최신 추론 엔진인 vLLM은 주로 최신 아키텍처를 지원하므로 구형인 파스칼에서는 하드웨어 가속을 사용하기 위해 별도의 코드 수정이 필요하다.
vLLM: — LLM 추론 속도를 극대화하기 위해 PagedAttention 기술을 사용하는 고성능 오픈소스 엔진이다. 메모리 관리를 최적화하여 대규모 언어 모델의 처리량을 높이는 데 핵심적인 역할을 한다.
자동 음성 인식(ASR): — Automatic Speech Recognition의 약자로, 음성 신호를 텍스트 데이터로 변환하는 기술이다. 실시간 강의 전사와 같은 응용 분야에서는 낮은 지연 시간과 높은 정확도가 필수적이다.

vLLM (Pascal Fork)추천링크

Pascal GPU에서 vLLM 가속 지원

Qwen3 ASR 1.7B추천

음성 인식 및 전사