Baseten CEO Tuhin Srivastava가 말하는 AI 추론 시장의 급성장과 인프라 전략

섹션별 상세

AI 추론 수요가 폭발적으로 증가하면서 Baseten은 단기간에 30배 성장을 달성하며 시장 영향력을 확대했다. 인프라 계층에서 추론은 단순한 실행을 넘어 기업의 비즈니스 로직과 모델이 결합되는 전략적 지점으로 진화했다. 이를 통해 기업들은 단순 모델 호출을 넘어 최적화된 실행 환경을 구축하는 데 집중하고 있다.

애플리케이션 계층은 고유한 데이터 신호를 모델에 인코딩함으로써 지속적인 경쟁 우위를 확보할 수 있다. Abridge와 같은 사례처럼 특정 워크플로에 특화된 사후 학습을 수행하면 범용 모델보다 뛰어난 성능과 효율성을 제공할 수 있다. 이는 단순한 UI 제공을 넘어 모델 자체를 도메인에 최적화하는 과정이 핵심임을 시사한다.

GPU 공급 제약을 극복하기 위해 18개 클라우드와 90개 클러스터를 연결하는 멀티 클라우드 인프라를 운영하고 있다. 단일 제공업체에 의존하지 않는 유연한 아키텍처를 통해 가용성을 확보하고 대규모 워크로드를 안정적으로 처리한다. 이러한 소프트웨어 계층의 복잡성 관리가 고객 유지와 운영 안정성의 핵심 요소로 작용한다.

추론 효율성이 높아질수록 비용이 절감되어 오히려 더 많은 AI 서비스 수요가 발생하는 역설적 상황이 나타나고 있다. 기술적 최적화는 단순히 비용 절감에 그치지 않고 기존에 불가능했던 실시간 응답이나 대규모 데이터 처리를 가능하게 한다. 이는 모든 디지털 상호작용에 AI가 개입하는 '컨시어지' 형태의 미래 서비스로 이어질 것으로 예상된다.

용어 해설

추론(Inference): — 학습된 AI 모델을 실제 환경에 배포하여 새로운 데이터에 대한 예측이나 결과를 생성하는 과정이다. 모델의 성능뿐만 아니라 응답 속도와 운영 비용이 서비스 품질을 결정하는 핵심 요소가 된다.
사후 학습(Post-training): — 사전 학습된 기본 모델을 특정 도메인이나 작업에 맞춰 추가로 미세 조정하거나 정렬하는 단계이다. 기업이 보유한 고유 데이터를 활용해 모델의 전문성을 높이고 차별화된 가치를 창출하는 데 필수적이다.
멀티 클라우드(Multi-cloud): — 단일 클라우드 서비스 제공자에 의존하지 않고 여러 업체의 클라우드 인프라를 동시에 사용하는 전략이다. GPU 수급 불균형에 대응하고 서비스 안정성을 확보하기 위해 AI 인프라 구축 시 중요하게 고려된다.

기술

Baseten
GPU
Multi-cloud

활용 사례

도메인 특화 모델 배포
대규모 AI 추론 서비스 운영
멀티 클라우드 기반 인프라 관리

언급된 리소스

DemoNo Priors Podcast