Slonk: Character.ai의 Kubernetes 기반 Slurm 클러스터 운영 방식

섹션별 상세

01

Slonk는 연구자들이 선호하는 Slurm의 작업 제출 방식(sbatch, squeue)과 인프라 팀이 요구하는 Kubernetes의 오케스트레이션 기능을 통합했다.

02

시스템 아키텍처는 Slurm의 컨트롤러, 워커, 로그인 노드를 각각 Kubernetes의 StatefulSet으로 구성하여 각 Slurm 노드를 개별 포드로 매핑한다.

Slonk 시스템의 논리적 작업 흐름과 노드 간 연결 구조를 보여주는 다이어그램이다. — Diagram사용자가 로그인 노드를 통해 작업을 제출하면 컨트롤러 노드가 GPU 노드들에 작업을 할당하는 과정을 보여준다. 모든 노드가 공유 NFS 스토리지에 연결되어 데이터 일관성을 유지하는 구조를 시각화했다.

03

각 포드는 Slurm 데몬, SSH, 시스템 서비스를 포함한 경량 init 레이어를 갖춘 미니 VM 형태로 동작하며 설정은 ConfigMap으로 주입되고 /home 디렉토리는 NFS를 통해 공유된다.

물리적 CPU 및 GPU 노드 내에서 Slurm 구성 요소들이 Kubernetes 포드로 배치된 상세 구조도이다. — DiagramSlurm의 컨트롤러와 로그인 기능이 CPU 노드의 포드로 실행되고, GPU 노드 내에서는 Slurm 워커 포드와 모델 서버 포드가 공존할 수 있음을 보여준다. 이는 Slonk가 자원을 얼마나 유연하게 격리하고 배치하는지 설명한다.

04

두 스케줄러인 Slurm과 Kubernetes 간의 리소스 뷰를 동기화하기 위해 포드 상태를 지속적으로 조정하는 정렬 유틸리티를 구축하여 일관성을 유지한다.

05

대규모 GPU 클러스터의 안정성을 위해 작업 전후로 GPU, 네트워크, 스토리지를 점검하는 자동화된 헬스 체크 시스템과 노드 재활용 기능을 포함한다.

06

Slurm의 네트워크 토폴로지 인식 기능을 활용하여 대규모 멀티 노드 작업 시 GPU 간의 물리적 거리를 가깝게 배치함으로써 통신 효율을 극대화한다.

용어 해설

슬럼(Slurm): — 리눅스 클러스터를 위한 오픈소스 워크로드 관리자이자 작업 스케줄러이다. 대규모 컴퓨팅 자원에서 작업의 우선순위를 정하고 자원을 할당하며 대기열을 관리하는 역할을 수행하여 HPC 환경에서 표준처럼 사용된다.
스테이트풀셋(StatefulSet): — 상태가 있는 애플리케이션을 관리하기 위한 Kubernetes의 워크로드 API 오브젝트이다. 각 포드에 고유하고 영구적인 식별자를 부여하여 데이터베이스나 Slurm 노드처럼 순서와 상태 유지가 중요한 서비스 운영에 필수적이다.
고성능 컴퓨팅(HPC): — 고급 컴퓨팅 문제를 해결하기 위해 슈퍼컴퓨터나 컴퓨터 클러스터를 사용하는 기술이다. 대규모 AI 모델 학습을 위해 수천 개의 GPU를 병렬로 연결하여 처리하는 인프라 환경을 의미하기도 한다.
토폴로지 인식(Topology Awareness): — 컴퓨팅 자원 간의 물리적 연결 구조와 거리를 파악하여 작업을 배치하는 기능이다. 네트워크 지연을 최소화하기 위해 서로 통신이 잦은 GPU들을 최대한 가까운 스위치나 랙에 배치함으로써 분산 학습 성능을 최적화한다.
선점(Preemption): — 우선순위가 높은 작업이 실행될 수 있도록 현재 실행 중인 낮은 우선순위의 작업을 중단시키고 자원을 회수하는 메커니즘이다. 유휴 자원을 활용한 학습 작업과 실시간 서비스 간의 자원 배분을 최적화하는 데 사용된다.

기술

Slurm
Kubernetes
NFS
Helm
StatefulSet
LDAP
git-sync

활용 사례

GPU 연구 클러스터 운영
대규모 언어 모델 분산 학습
이기종 클라우드 자원 통합 관리

언급된 리소스

GitHubSlonk GitHub Repository