AI 추론 전용 클라우드 'General Compute', SambaNova 칩으로 1,500만 달러 투자 유치

섹션별 상세

AI 모델 추론 수요가 급증함에 따라 학습용 GPU와는 다른 전용 칩셋의 필요성이 커졌다. General Compute는 SambaNova의 SN50 칩을 채택하여 추론 성능을 최적화하는 전략을 취한다.

SambaNova SN50 칩은 공랭식 냉각 방식을 지원하여 수랭식 인프라 구축 없이 기존 데이터 센터에 즉시 설치 가능하다. 이는 데이터 센터 제공업체나 유휴 인프라를 보유한 암호화폐 채굴장과의 협력을 가능하게 한다.

SambaNova 칩은 GPU 대비 초당 600~700 토큰을 생성하여 기존 GPU의 250 토큰 대비 2배 이상의 속도를 기록한다. 또한 메모리 효율을 높여 추론 시 컨텍스트 저장 능력을 강화했다.

근거

General Compute는 MiniMax 2.7 모델을 기반으로 클라우드 서비스를 시작했으며, 코딩 에이전트와 오디오 에이전트 등 실시간 추론이 중요한 애플리케이션을 타깃으로 한다.