heterogeneous-pipeline
GPU, NPU, 맞춤형 가속기 등 서로 다른 특성을 가진 하드웨어들을 조합하여 전체 추론 과정을 최적화하는 시스템 구조이다. 각 하드웨어의 장점을 극대화할 수 있다.
GPU만으로는 부족하다? AI 서비스 성공을 결정짓는 배치 크기의 비밀