공유 GPU 인프라에서 격리된 테넌트 Kubernetes 클러스터 실행하기

sudo snap refresh --hold microk8s
sudo snap install kubectl --classic --channel=1.35/stable
sudo snap install helm --classic
mkdir -p ~/.kube
sudo microk8s config > ~/.kube/config
sudo chown $USER:$USER ~/.kube/config
chmod 600 ~/.kube/config

이 명령어들은 로컬에서 MicroK8s 클러스터에 접속하기 위한 툴링을 준비하고 kubeconfig를 설정하는 과정이다. kubectl과 helm을 스냅으로 설치해 명령 행 클라이언트를 확보하고, microk8s로 생성된 kubeconfig를 사용자 홈으로 복사해 권한을 조정한다. 이 과정이 완료돼야 이후 Helm 차트 설치와 vCluster 접속이 원활히 이루어진다.

helm repo add nvidia https://helm.ngc.nvidia.com/nvidia
helm repo update

이 명령어들은 NVIDIA Helm 차트 저장소를 추가하고 메타데이터를 갱신해 GPU Operator 같은 차트를 설치할 준비를 한다. Helm이 올바른 차트 버전을 찾을 수 있어야 GPU 관련 컴포넌트를 클러스터에 배포할 수 있다. MicroK8s 환경에서 GPU Operator 설치 전 단계로 반드시 수행해야 한다.

helm install gpu-operator nvidia/gpu-operator \
  -n gpu-operator-resources --create-namespace \
  --version v26.3.3 \
  --set driver.enabled=false \
  --set operator.defaultRuntime=containerd \
  --set toolkit.env[0].name=CONTAINERD_CONFIG \
  --set toolkit.env[0].value=/var/snap/microk8s/current/args/containerd.toml

이 Helm 명령은 NVIDIA GPU Operator를 gpu-operator-resources 네임스페이스에 설치해 노드에서 GPU 드라이버와 툴킷을 관리하도록 한다. MicroK8s처럼 containerd 기반 환경에서는 runtime과 환경 변수를 맞춰 설치해야 정상 동작한다. 설치 후 gpu-operator-resources 네임스페이스의 파드들을 통해 GPU 디바이스가 노드에 노출되는지 확인할 수 있다.

helm upgrade -i kai-scheduler \
  oci://ghcr.io/kai-scheduler/kai-scheduler/kai-scheduler \
  -n kai-scheduler --create-namespace \
  --version v0.16.4 \
  --set "global.gpuSharing=true"

이 Helm 명령은 KAI Scheduler를 클러스터에 설치하고 GPU 공유 기능을 활성화한다. schedulerName 필드에 kai-scheduler를 설정한 파드는 KAI Scheduler가 스케줄링하며, 다른 파드는 기본 kube-scheduler로 처리된다. 설치 완료 후 kai-scheduler 네임스페이스의 컨트롤러와 스케줄러 파드를 통해 작동 상태를 확인할 수 있다.

apiVersion: scheduling.run.ai/v2
kind: Queue
metadata:
  name: team-nlp
spec:
  parentQueue: ml-org
  priority: 100
  resources: gpu: { quota: 0.33, limit: 1, overQuotaWeight: 1 }

이 Queue CRD는 ml-org 부모 아래 team-nlp라는 팀 큐를 선언해 GPU 예산을 할당한다. quota는 보장치(0.33 GPU), limit은 최대값(1 GPU), overQuotaWeight는 초과 자원 분배 시 우선도를 조정하는 파라미터다. 이 YAML을 적용하면 KAI Scheduler가 해당 팀의 요청을 집계해 할당 상태를 기록한다.