쿠버네티스 창시자 브렌던 번스가 말하는 AI 인프라의 미래와 Azure x Anyscale 파트너십

• •오픈소스 성공의 핵심은 코드 품질뿐만 아니라 커뮤니티와 거버넌스 구축에 있다
• •쿠버네티스는 2016년을 기점으로 기술적 저항이 사라지고 업계 표준이 되었다
• •초기 프로젝트 설계 단계부터 확장성과 생태계 통합을 최우선으로 고려했다

쿠버네티스는 구글의 내부 클러스터 관리 시스템인 Borg의 경험을 바탕으로 오픈소스화된 프로젝트이다.

• •벤더 중립성은 오픈소스 프로젝트에 대한 기업들의 기여와 채택을 촉진하는 핵심 요소이다
• •재단은 프로젝트의 성숙도에 따라 Sandbox, Incubating, Graduated 단계를 두어 관리한다
• •거버넌스 구조는 프로젝트의 장기적인 신뢰성과 보안 업데이트를 보장한다

CNCF는 리눅스 재단 산하의 비영리 단체로 클라우드 네이티브 기술의 표준화를 주도한다.

• •Azure 관리형 Ray 서비스는 인프라 관리 부담을 줄여 AI 개발 효율성을 극대화한다
• •엔터프라이즈 보안 요구사항을 충족하기 위해 Azure Entra ID와 통합된 거버넌스를 제공한다
• •Cosmos DB 등 Azure의 다른 데이터 서비스와 네이티브하게 연동되어 워크플로를 간소화한다

Anyscale은 Ray의 창시자들이 설립한 기업으로 Ray의 상용 관리형 플랫폼을 제공한다.

• •대규모 AI 모델 학습을 위해 네트워크 지연시간을 최소화하는 랙 로컬리티 스케줄링이 필수적이다
• •DRA 프레임워크를 통해 GPU와 NVLink 같은 특수 자원을 동적으로 최적 할당한다
• •AI Conformance 프로그램을 통해 다양한 클라우드 환경에서 동일한 AI 워크로드 실행을 보장한다

분산 학습에서는 노드 간 통신 속도가 전체 성능의 병목이 되므로 물리적 위치 기반의 스케줄링이 매우 중요하다.

• •AI 인프라의 핵심은 결국 효율적인 데이터 이동과 자원 관리라는 분산 시스템의 기본에 있다
• •추상화 도구를 활용하여 인프라의 복잡성을 숨기고 비즈니스 로직 구현에 집중해야 한다
• •오픈소스 커뮤니티에서는 시스템의 신뢰성을 담보하는 기초적인 기여가 가장 가치 있다

vLLM은 대규모 언어 모델의 추론 속도를 높이기 위해 PagedAttention 기술을 사용하는 오픈소스 엔진이다.