이기종 파이프라인을 통한 음성 기반 코딩 경험 구현

섹션별 상세

01

기존 GPU 중심의 추론 파이프라인은 HBM 제약으로 인해 지연 시간과 동시성 사이의 균형을 맞추기 어렵다.

02

이기종 파이프라인은 ASR, TTS 등 개별 모달리티를 해당 작업에 특화된 가속기에서 실행하여 GPU의 부하를 분산한다.

03

음성-코드 변환은 RAG 조회, 계획 수립, 후속 질문 처리를 포함하는 에이전트 워크플로를 통해 수행된다.

04

지연 시간을 제로에 가깝게 최적화함으로써 이동 중이나 회의실 등 다양한 환경에서 음성 기반 코딩이 가능해진다.

이기종 파이프라인(Heterogeneous Pipeline): — AI 추론 과정에서 각 작업(ASR, TTS, LLM 등)의 특성에 맞춰 최적화된 서로 다른 하드웨어 가속기를 혼합하여 사용하는 파이프라인 구조를 의미한다. 단일 GPU에 의존하는 방식보다 지연 시간과 효율성 측면에서 유리하다.
에이전트 워크플로(Agentic Workflow): — 복잡한 작업을 여러 개의 작은 단위로 분할하고, 각 단계를 AI 에이전트가 순차적 또는 병렬적으로 처리하도록 설계된 작업 흐름이다. 계획 수립, RAG 조회, 코드 생성 등의 과정을 자동화한다.
자동 음성 인식(ASR): — Automatic Speech Recognition의 약자로, 음성 데이터를 텍스트로 변환하는 기술이다. 음성 기반 인터페이스의 첫 번째 단계로 사용된다.
음성 합성(TTS): — Text-to-Speech의 약자로, 텍스트 데이터를 음성으로 변환하는 기술이다. AI 에이전트가 사용자에게 응답을 전달할 때 사용된다.