Together AI, 인프라 전략 강화를 위한 부사장 영입 및 AI 팩토리 확장 발표

섹션별 상세

Together AI는 AI 네이티브 앱의 급성장을 지원하기 위해 기가와트급 용량의 AI 팩토리를 전 세계적으로 구축하고 있다. 이는 단순한 데이터 센터를 넘어 전력 분배, 냉각, 네트워킹, GPU 클러스터, 최적화된 커널 및 추론 스택이 모두 통합된 수직 계층 구조를 갖춘다.

Cloudflare에서 글로벌 네트워크 확장을 주도했던 Alon Gavrielov를 인프라 전략 부사장으로 영입했다. 그는 공급망 관리, 용량 계획, 데이터 센터 전략 분야의 전문성을 바탕으로 Together AI의 인프라 확장과 신뢰성 확보를 진두지휘하게 된다.

Together AI의 인프라는 시스템 연구를 기반으로 모든 계층에서 피크 성능을 내도록 설계되었다. 이를 통해 오픈 소스 모델에 대해 업계 최고 수준의 추론 속도를 제공하며, Cursor나 ElevenLabs와 같은 고성장 AI 기업들에게 비용 효율적인 확장성을 제공한다.

DeepSeek-R1과 같은 최신 모델 지원과 프리미엄 비디오 생성 기능을 포함한 서비스 포트폴리오를 강화하고 있다. 인프라 고도화를 통해 단순한 GPU 대여를 넘어 AI 개발자가 모델을 구축하고 서빙하는 데 필요한 전체 워크플로우를 최적화된 환경에서 지원한다.

용어 해설

AI 팩토리(AI Factory): — AI 모델의 학습과 추론을 위해 특화된 대규모 데이터 센터 인프라를 의미한다. 전력 분배, 냉각 시스템, 고성능 네트워킹 및 GPU 클러스터가 통합되어 AI 워크로드를 효율적으로 처리하는 핵심 기반 시설이다.
추론 스택(Inference Stack): — 학습된 AI 모델을 실제 서비스에 적용하여 결과를 생성할 때 필요한 소프트웨어와 하드웨어의 계층적 구조이다. 최적화된 커널과 런타임 엔진을 포함하여 응답 속도와 비용 효율성을 결정짓는 중요한 요소이다.
GPU 클러스터(GPU Cluster): — 여러 대의 GPU를 고속 네트워크로 연결하여 하나의 거대한 계산 자원처럼 사용하는 시스템이다. 대규모 언어 모델의 병렬 처리에 필수적이며 전체적인 연산 성능과 확장성을 좌우한다.

기술

Together AI Stack
GPU Clusters
DeepSeek-R1

활용 사례

대규모 LLM 추론 서빙
AI 네이티브 애플리케이션 확장
비디오 생성 모델 인프라

언급된 리소스

문서Together AI Blog