이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
핵심 요약
AI 추론 과정의 병목 현상과 낮은 하드웨어 활용률을 해결하기 위해 김렛 랩스가 '멀티 실리콘 추론 클라우드' 기술을 선보였다. 이 기술은 단일 AI 작업을 CPU, GPU, 고대역폭 메모리 시스템 등 가용한 모든 하드웨어 자원에 실시간으로 분산하여 처리한다. 내부 데이터에 따르면 기존 방식 대비 추론 속도를 3배에서 10배까지 향상시키면서도 비용과 전력 소모는 동일하게 유지하는 성과를 거두었다. 대규모 모델 연구소와 데이터 센터를 주요 타겟으로 하며, 이미 1,000만 달러 이상의 매출을 기록하며 시장성을 입증했다.
배경
AI 추론(Inference) 및 디코딩(Decoding) 프로세스에 대한 이해, 컴퓨팅 자원의 Compute-bound 및 Memory-bound 특성 지식, 쿠버네티스(Kubernetes) 등 오케스트레이션 개념
대상 독자
데이터 센터 운영자, LLM 인프라 엔지니어, AI 비용 최적화 담당자
의미 / 영향
이 기술은 특정 고성능 GPU에만 의존하던 기존 AI 추론 패러다임을 소프트웨어 중심의 하드웨어 통합 활용으로 전환합니다. 특히 대규모 인프라를 보유한 기업들이 유휴 자원을 재활용하여 추론 비용을 획기적으로 낮출 수 있는 길을 열어줍니다.
섹션별 상세
기존 AI 인프라는 특정 하드웨어에 의존하며 실제 자원 활용률이 15~30% 수준에 머무는 비효율성을 가졌다. 김렛 랩스의 오케스트레이션 소프트웨어는 워크로드를 세분화하여 CPU와 GPU 등 이종 하드웨어에서 동시에 실행함으로써 유휴 자원을 제거한다. 이를 통해 수천억 달러 규모의 낭비되는 인프라 비용을 절감하고 전체 시스템 효율을 극대화한다.
AI 에이전트의 각 단계는 연산 중심(Inference), 메모리 중심(Decode), 네트워크 중심(Tool calls) 등 요구하는 자원 특성이 다르다. 김렛 랩스는 모델 자체를 슬라이싱하여 각 부분에 최적화된 칩으로 할당하는 아키텍처를 구현했다. NVIDIA, AMD, Intel, ARM 등 다양한 제조사의 칩을 혼합 사용하여 동일 비용 내에서 추론 성능을 3배에서 10배까지 끌어올리는 데 성공했다.
스탠퍼드 교수 출신 창업진의 기술력을 바탕으로 출시 직후 8자릿수 매출을 달성하며 대형 클라우드 기업들을 고객사로 확보했다. Menlo Ventures가 주도한 이번 8,000만 달러 시리즈 A 라운드에는 Intel CEO 립부 탄 등 업계 주요 인사들이 대거 참여했다. 이는 하드웨어 부족 시대에 소프트웨어 계층을 통한 최적화 솔루션의 중요성이 커지고 있음을 방증한다.
실무 Takeaway
- GPU 부족 상황에서 기존 CPU나 구형 하드웨어를 AI 추론에 통합 활용하여 인프라 투자 대비 효율을 최대 10배까지 높일 수 있다.
- 모델을 하드웨어 특성에 맞춰 슬라이싱하여 실행하는 소프트웨어 계층을 도입함으로써 특정 칩 제조사에 대한 의존도를 낮추는 전략이 가능하다.
- 대규모 데이터 센터 운영 시 자원 활용률을 30% 이상으로 끌어올려 전력 소모와 운영 비용을 획기적으로 절감하는 것이 실무적 핵심이다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 03. 24.수집 2026. 03. 24.출처 타입 RSS
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.