ClearML을 활용하여 Kubernetes 내부에서 Slurm 워크로드 실행하기

섹션별 상세

전통적인 Slurm 클러스터는 노드 세트가 고정되어 있어 AI 워크로드의 급격한 수요 변화에 대응하는 자동 확장 기능이 부족하며, 컨테이너 실행을 위해 복잡한 추가 도구가 필요하다.

Kubernetes를 별도로 도입할 경우 두 개의 서로 다른 스케줄러와 보안 모델을 관리해야 하는 운영 부담이 발생하며, 클러스터 간 자원 공유가 어려워 유휴 자원이 낭비되는 파편화 문제가 생긴다.

ClearML의 'Slurm over Kubernetes'는 Slurm 로그인 노드와 워커 노드를 Kubernetes 포드로 생성하여, 필요할 때만 클러스터를 가동하고 작업이 끝나면 즉시 해제하는 탄력적 서비스 구조를 제공한다.

이 방식은 기존의 sbatch, srun 스크립트와 MPI 지원 등 Slurm의 직관적인 사용성을 유지하면서도, Kubernetes의 빈 패킹(Bin-packing)과 컨테이너 지원을 통해 인프라 활용도를 높인다.

ClearML 플랫폼은 Slurm과 Kubernetes를 아우르는 단일 인터페이스를 제공하여, 우선순위나 비용에 따른 교차 클러스터 스케줄링, 하이브리드 클라우드 확장, 팀별 쿼터 관리 및 상세 작업 추적 기능을 지원한다.

사용자는 단일 클릭으로 Slurm 클러스터를 생성하거나 해제할 수 있으며, ClearML의 스케줄링 정책에 따라 워커 노드의 개수를 작업 부하에 맞춰 자동으로 조절할 수 있다.

슬럼(Slurm): — 고성능 컴퓨팅(HPC) 환경에서 널리 사용되는 오픈소스 클러스터 관리 및 작업 스케줄링 시스템이다. 컴퓨팅 자원을 효율적으로 할당하고 대규모 병렬 작업을 관리하는 데 탁월하지만, 정적인 노드 구성과 컨테이너 지원 부족이 한계로 지적된다.
메시지 전달 인터페이스(MPI): — 분산 메모리 시스템에서 병렬 컴퓨팅을 수행하는 노드들 사이의 통신 표준이다. 대규모 AI 모델 학습이나 과학적 시뮬레이션에서 여러 노드가 데이터를 주고받으며 협업할 때 필수적인 통신 프로토콜이다.
빈 패킹(Bin-packing): — 한정된 용량의 컨테이너(노드)에 다양한 크기의 물건(작업/포드)을 가장 효율적으로 배치하여 공간 낭비를 최소화하는 최적화 기법이다. Kubernetes에서 하드웨어 자원 활용도를 극대화하기 위해 사용된다.
에스배치(sbatch): — Slurm 환경에서 배치 스크립트를 시스템에 제출하기 위해 사용하는 핵심 명령어이다. 작업에 필요한 CPU, GPU, 메모리 사양과 실행할 코드를 정의한 스크립트를 큐에 등록하는 역할을 한다.
멀티 테넌시(Multi-tenancy): — 단일 소프트웨어 인스턴스나 물리적 인프라를 여러 팀이나 사용자가 공유하면서도, 각자의 자원과 데이터는 서로 격리되어 안전하게 운영되는 아키텍처 모델이다.