groq

LPU(Language Processing Unit)라는 특수 하드웨어를 사용하여 대규모 언어 모델의 추론 속도를 획기적으로 높인 서비스이다. 실시간 대화나 게임처럼 즉각적인 응답이 필요한 애플리케이션에서 사용자 경험을 크게 개선한다.