Kubernetes 스케줄러 성능 벤치마크 테스트 및 최적화 사례

핵심 요약

PFN은 대규모 머신러닝 인프라 운영을 위해 Kubernetes 스케줄러를 커스터마이징하고 있으며, 이에 따른 성능 저하를 방지하기 위해 scheduler_perf 벤치마크를 도입했다. 기존의 수동 코드 복사 방식과 CI 부재 문제를 해결하기 위해 scheduler_perf를 라이브러리 형태로 임포트하고, 릴리스 프로세스에 자동 측정 단계를 통합했다. 특히 성능 병목이었던 Lua 기반 플러그인을 Go로 재구현함으로써 스케줄링 처리량을 최대 1311% 향상시키는 성과를 거두었다. 이러한 개선을 통해 대규모 분산 학습 환경에서의 자원 할당 효율성을 확보했다.

배경

Kubernetes Architecture, Go Programming, YAML Configuration

대상 독자

Kubernetes 인프라 엔지니어 및 대규모 ML 클러스터 운영자

의미 / 영향

커스텀 스케줄러 개발 시 성능 검증의 중요성을 강조하며, 업스트림 도구를 효율적으로 활용하는 모범 사례를 제시한다. 이는 대규모 AI 학습 인프라의 효율성을 극대화하고 운영 안정성을 확보하는 데 기여한다.

섹션별 상세

PFN은 분산 학습 효율을 높이기 위해 여러 Pod을 동시에 스케줄링하는 Gang Scheduling 플러그인을 개발하여 사용 중이다. 분산 학습 시 일부 Pod만 스케줄링되면 전체 자원이 준비될 때까지 대기하며 자원이 낭비되는 문제가 발생한다. Gang Scheduling은 모든 구성 요소가 준비되었을 때만 스케줄링을 수행하여 학습 시작과 동시에 자원을 즉시 활용하도록 돕는다. 해당 플러그인은 오픈소스로 공개되어 있으며 GPU 파편화 방지를 위한 로직도 포함되어 있다.

Kubernetes 업스트림 프로젝트의 scheduler_perf 프레임워크를 활용하여 스케줄러 성능을 정밀하게 측정한다. 이 프레임워크는 실제 워커 노드 없이 etcd와 API 서버, 스케줄러만 실행하여 단일 머신에서 대규모 클러스터 환경을 시뮬레이션한다. YAML 설정 파일을 통해 노드 생성, 초기 Pod 배치, 측정용 Pod 추가 등 다양한 시나리오를 정의할 수 있다. 측정 결과는 초당 스케줄링된 Pod 수(pods/s)와 같은 통계 데이터로 출력되어 성능 추이를 분석하는 기초가 된다.

유지보수 효율을 높이기 위해 scheduler_perf를 라이브러리 형태로 임포트하는 방식을 도입했다. 과거에는 scheduler_perf 코드를 직접 복사하여 사용했기 때문에 Kubernetes 버전 업그레이드 시마다 수동 통합 부담이 컸다. PFN의 제안으로 Kubernetes v1.30부터 라이브러리 임포트가 가능해졌으며, v1.34에는 테스트 전 CRD를 설치할 수 있는 WithPrepareFn 옵션이 추가되었다. 이를 통해 커스텀 리소스에 의존하는 플러그인도 표준 벤치마크 환경에서 테스트할 수 있는 기반이 마련되었다.

GitHub Actions를 활용해 릴리스 PR 생성 시 자동으로 벤치마크를 실행하고 이전 버전과 성능을 비교하는 워크플로우를 구축했다. 벤치마크 실행에 약 10분 이상 소요되므로 모든 PR이 아닌 릴리스 직전에만 실행하여 개발 속도 저하를 방지한다. 측정 결과는 릴리스 PR 설명에 자동으로 포함되며, 이전 릴리스 대비 성능 변화율을 수치로 명시한다. 이 프로세스를 통해 성능 퇴보(Regression)를 배포 전에 발견하고 원인을 분석할 수 있는 체계를 갖추었다.

성능 측정 결과 Lua 기반 플러그인의 한계를 확인하고 이를 Go 언어로 재구현하여 비약적인 성능 향상을 달성했다. 일반적인 스케줄링 시나리오에서 처리량이 기존 대비 1311% 향상되었으며, 복잡한 Gang Scheduling 시나리오에서도 479%의 성능 향상을 기록했다. 이는 인터프리터 방식인 Lua의 오버헤드가 스케줄링 병목의 주요 원인이었음을 입증한다. 고성능 스케줄링이 필요한 환경에서는 컴파일 언어 기반의 플러그인 구현이 필수적임이 확인되었다.

이미지 분석

Chart
시간 경과에 따른 스케줄러의 성능 트렌드를 그래프로 보여준다. 특정 시나리오에서 스케줄링 처리량이 어떻게 변화하는지 모니터링하고 성능 저하 여부를 판단하는 데 사용된다.
Perfdash 도구를 사용한 scheduler_perf 결과 시각화 대시보드 화면이다.

</> 코드 예제 포함

실무 Takeaway

scheduler_perf를 라이브러리로 임포트하고 WithPrepareFn 옵션을 활용하여 커스텀 스케줄러의 유지보수 비용을 최소화한다.
복잡한 스케줄링 로직 구현 시 Lua 스크립트 대신 Go 언어를 사용하면 처리량을 최대 13배 이상 향상시킬 수 있다.
릴리스 파이프라인에 성능 벤치마크를 자동화하여 배포 전 성능 저하 여부를 객관적인 수치로 검증한다.

언급된 리소스

GitHubPFN Scheduler Plugins GitHub

DemoKubernetes Perfdash