섹션별 상세
기존 AI 인프라는 특정 하드웨어에 의존하며 실제 자원 활용률이 15~30% 수준에 머무는 비효율성을 가졌다. 김렛 랩스의 오케스트레이션 소프트웨어는 워크로드를 세분화하여 CPU와 GPU 등 이종 하드웨어에서 동시에 실행함으로써 유휴 자원을 제거한다. 이를 통해 수천억 달러 규모의 낭비되는 인프라 비용을 절감하고 전체 시스템 효율을 극대화한다.
AI 에이전트의 각 단계는 연산 중심(Inference), 메모리 중심(Decode), 네트워크 중심(Tool calls) 등 요구하는 자원 특성이 다르다. 김렛 랩스는 모델 자체를 슬라이싱하여 각 부분에 최적화된 칩으로 할당하는 아키텍처를 구현했다. NVIDIA, AMD, Intel, ARM 등 다양한 제조사의 칩을 혼합 사용하여 동일 비용 내에서 추론 성능을 3배에서 10배까지 끌어올리는 데 성공했다.
스탠퍼드 교수 출신 창업진의 기술력을 바탕으로 출시 직후 8자릿수 매출을 달성하며 대형 클라우드 기업들을 고객사로 확보했다. Menlo Ventures가 주도한 이번 8,000만 달러 시리즈 A 라운드에는 Intel CEO 립부 탄 등 업계 주요 인사들이 대거 참여했다. 이는 하드웨어 부족 시대에 소프트웨어 계층을 통한 최적화 솔루션의 중요성이 커지고 있음을 방증한다.
기술
- Gimlet Cloud
- NVIDIA
- AMD
- Intel
- ARM
- Cerebras
- d-Matrix
활용 사례
- 대규모 AI 모델 추론 가속
- 데이터 센터 자원 활용률 최적화
- 이종 하드웨어 기반 AI 클라우드 구축
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 03. 24.수집 2026. 03. 24.출처 타입 RSS
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
