Kubernetes 스케줄러 벤치마크 테스트: PFN의 성능 최적화 사례

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

PFN은 머신러닝 인프라 운영을 위해 Kubernetes 스케줄러를 커스터마이징하여 사용한다. 기존에는 업스트림의 scheduler_perf 도구를 수동으로 복사해 사용하며 유지보수와 CI 통합에 어려움을 겪었다. 이를 해결하기 위해 Kubernetes v1.30부터 도입된 라이브러리 임포트 방식을 채택하고, v1.34에 반영될 WithPrepareFn 기능을 직접 기여하여 CRD 의존성 문제를 해결했다. 결과적으로 릴리스 프로세스에 벤치마크를 자동화했으며, Lua 기반 플러그인을 Go로 재구현하여 스케줄링 처리량을 비약적으로 향상시켰다.

배경

Kubernetes Architecture, Go Programming, Basic Benchmarking concepts

대상 독자

Kubernetes 기반 ML 인프라 엔지니어 및 플랫폼 개발자

의미 / 영향

스케줄러 성능 최적화는 대규모 GPU 클러스터의 자원 효율성을 결정짓는 핵심 요소이다. 업스트림 도구를 라이브러리화하고 CI에 통합하는 방식은 복잡한 인프라 소프트웨어의 지속 가능한 유지보수 모델을 제시한다.

섹션별 상세

PFN은 분산 학습의 효율성을 높이기 위해 Gang Scheduling과 GPU 단편화 방지 로직을 포함한 커스텀 스케줄러 플러그인을 개발하여 운영한다. Gang Scheduling은 분산 학습에 필요한 모든 Pod가 준비되었을 때만 스케줄링을 수행하여 자원 낭비를 방지하는 핵심 기법이다.

Kubernetes 업스트림의 scheduler_perf 프레임워크는 etcd와 API 서버만 실행하여 대규모 클러스터 환경을 단일 머신에서 시뮬레이션하고 스케줄링 처리량을 측정한다. YAML 설정을 통해 노드 생성, Pod 생성, 메트릭 수집 단계를 정의하며 결과는 초당 Pod 처리량(pods/s) 단위의 통계 데이터로 출력된다.

yaml

- name: SchedulingBasic
  defaultPodTemplatePath: ../templates/pod-default.yaml
  workloadTemplate:
  - opcode: createNodes
    countParam: $initNodes
  - opcode: createPods
    countParam: $initPods
  - opcode: createPods
    countParam: $measurePods
    collectMetrics: true
  workloads:
  - name: 500Nodes
    labels: [performance, short]
    params:
      initNodes: 500
      initPods: 500
      measurePods: 1000

scheduler_perf에서 벤치마크 시나리오를 정의하는 YAML 설정 예시

Kubernetes Perfdash 화면으로, scheduler_perf의 역사적 성능 추이를 시각화하여 보여준다. — Chart특정 시나리오의 스케줄링 처리량(SchedulingThroughput) 변화를 그래프로 확인하여 성능 퇴보 여부를 한눈에 파악할 수 있게 돕는다. PFN은 이 도구를 활용하여 커스텀 스케줄러의 성능 트렌드를 모니터링한다.

기존의 수동 코드 복사 방식은 Kubernetes 버전 업그레이드 시마다 막대한 유지보수 비용을 발생시켰으며, CI 미통합으로 인해 성능 저하를 사후에 발견하는 문제가 있었다. 이를 해결하기 위해 scheduler_perf를 라이브러리로 임포트하는 구조로 전환하고 릴리스 PR 생성 시 벤치마크가 자동 실행되도록 GitHub Actions 워크플로를 구축했다.

커스텀 플러그인이 CRD에 의존하는 경우 라이브러리 방식에서 API 서버에 접근할 수 없는 한계가 있었으나, PFN은 WithPrepareFn 옵션을 업스트림에 기여하여 해결했다. 이 콜백 함수를 통해 벤치마크 실행 전 CRD를 미리 등록할 수 있게 되었으며, 해당 기능은 Kubernetes v1.34에 정식 포함될 예정이다.

python

import (
  "testing"
  perf "k8s.io/kubernetes/test/integration/scheduler_perf"
)

func BenchmarkPerfScheduling(b *testing.B) {
  perf.RunBenchmarkPerfScheduling(b, "/path/to/scheduler_perf_config.yaml", "", outOfTreeRegistry)
}

Kubernetes v1.30부터 지원되는 scheduler_perf 라이브러리 임포트 및 실행 코드

벤치마크 자동화 결과, 기존 Lua 기반 플러그인의 성능 병목을 확인하고 이를 Go 언어로 재구현하여 비약적인 성능 향상을 달성했다. 일반 스케줄링 처리량은 약 1311% 증가했으며, 오버헤드가 큰 Gang Scheduling 시나리오에서도 처리량이 약 480% 개선됨을 수치로 입증했다.

python

perf.RunBenchmarkPerfScheduling(b, "config/performance-config.yaml", "hogehoge", outOfTreeRegistry, perf.WithPrepareFn(func(tCtx ktesting.TContext) error {
  client := tCtx.APIExtensions()
  _, err := client.ApiextensionsV1().CustomResourceDefinitions().Create(tCtx, &apiextensionsv1.CustomResourceDefinition{
    // Custom Resource Definition
  }, metav1.CreateOptions{})
  return err
}))

WithPrepareFn 옵션을 사용하여 벤치마크 실행 전 CRD를 등록하는 예시

실무 Takeaway

Kubernetes 스케줄러 성능 측정을 위해 scheduler_perf를 라이브러리로 임포트하여 유지보수 공수를 최소화한다.
릴리스 파이프라인에 벤치마크 테스트를 통합하여 이전 버전 대비 성능 변화를 정량적으로 비교하고 배포 전 병목을 차단한다.
복잡한 스케줄링 로직이나 높은 처리량이 요구되는 플러그인은 Lua 대신 Go로 구현하여 런타임 오버헤드를 획기적으로 줄인다.

언급된 리소스

GitHubPFN Scheduler Plugins GitHub

DemoKubernetes Perfdash