lpu
Language Processing Unit의 약자로, 대규모 언어 모델의 추론 속도를 극대화하기 위해 설계된 Groq의 특수 목적 하드웨어 가속기이다. 에이전트의 다단계 추론 과정에서 발생하는 지연 시간을 획기적으로 줄여준다.
Language Processing Unit의 약자로, 대규모 언어 모델의 추론 속도를 극대화하기 위해 설계된 Groq의 특수 목적 하드웨어 가속기이다. 에이전트의 다단계 추론 과정에서 발생하는 지연 시간을 획기적으로 줄여준다.