Kubernetes 1.35, AI 워크로드를 위한 갱 스케줄링 도입

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

Kubernetes v1.35(코드명 Timbernetes)는 AI 및 ML 워크로드 최적화에 중점을 둔 주요 기능들을 선보였다. 분산 학습 시 리소스가 부분적으로 할당되어 작업이 중단되는 문제를 해결하기 위해 '전부 아니면 전무(All-or-nothing)' 방식의 갱 스케줄링을 알파 단계로 도입했다. 또한, 추론 서비스 운영 중 컨테이너 재시작 없이 CPU와 메모리를 조정할 수 있는 In-place Pod Resize 기능이 안정화 단계에 진입했다. 이번 릴리스는 Kubernetes가 단순한 컨테이너 오케스트레이션을 넘어 AI 전용 인프라로 진화하고 있음을 명확히 보여준다.

배경

Kubernetes 기본 개념, 분산 학습 아키텍처 이해, Pod 스케줄링 메커니즘

대상 독자

AI 인프라 엔지니어, MLOps 개발자, Kubernetes 관리자

의미 / 영향

Kubernetes가 AI 워크로드의 특수성을 표준 기능으로 수용하기 시작하면서, 별도의 복잡한 스케줄러 설정 없이도 효율적인 AI 클러스터 운영이 가능해질 전망이다.

섹션별 상세

분산 학습 작업의 효율성을 극대화하기 위해 갱 스케줄링(Gang Scheduling) 기능을 알파 버전으로 도입했다. 이 기능은 학습에 필요한 모든 Pod가 동시에 배치될 수 있는 경우에만 스케줄링을 수행하는 'All-or-nothing' 방식을 강제한다. 이를 통해 일부 Pod만 배치되어 전체 작업이 대기 상태(Stall)에 빠지는 자원 낭비 문제를 방지하고 대규모 GPU 클러스터의 활용도를 높인다.

추론 서비스의 유연한 운영을 지원하는 In-place Pod Resize 기능이 Stable 단계로 격상되었다. 기존에는 Pod의 CPU나 메모리 할당량을 변경하려면 컨테이너를 재시작해야 했으나, 이제는 실행 중인 상태에서 즉시 자원을 조정할 수 있다. 이는 트래픽 변화에 민감한 실시간 AI 추론 서비스의 가용성을 유지하면서 자원 효율성을 최적화하는 데 기여한다.

가속기(Accelerator) 오케스트레이션을 위한 Dynamic Resource Allocation(DRA) 기능이 지속적으로 고도화되고 있다. 또한, kubectl의 기본 설정이 더 엄격한 YAML 하위 집합인 KYAML로 변경되어 대규모 환경에서의 설정 오류를 줄이고 안정성을 강화했다. 한편, Ingress NGINX는 2026년 3월까지 유지보수 단계를 거쳐 최종 은퇴할 예정이다.

실무 Takeaway

분산 학습 환경에서 자원 부분 할당으로 인한 교착 상태를 방지하려면 v1.35의 갱 스케줄링 도입을 검토해야 한다.
실시간 추론 서비스의 가용성을 극대화하기 위해 In-place Pod Resize 기능을 활용하여 무중단 자원 최적화 파이프라인을 구축할 수 있다.
Ingress NGINX의 은퇴 일정에 맞춰 대체 인그레스 컨트롤러나 게이트웨이 API로의 전환 계획을 수립해야 한다.

언급된 리소스

문서Kubernetes 1.35 Adds Gang Scheduling for AI Workloads