ClearML과 SUSE k3k의 통합: 엔터프라이즈 AI를 위한 가상 Kubernetes 클러스터 구현

섹션별 상세

AI 워크로드는 특정 버전의 GPU Operator나 커스텀 CRD 설치를 위해 클러스터 관리자 권한이 필요하지만, 공유 클러스터에서 이를 허용하는 것은 보안상 위험하다. k3k 통합은 물리적 노드에 영향을 주지 않고 가상 클러스터 내에서만 cluster-admin 권한을 부여하여 이 문제를 해결한다. 가상 클러스터 사용자는 자신의 환경을 자유롭게 구성하되 호스트 인프라의 설정은 변경할 수 없다. 이를 통해 보안 정책 준수와 개발 유연성을 동시에 확보한다.

SUSE의 오픈 소스 프로젝트인 k3k는 부모 클러스터 위에서 팟(Pod) 형태로 실행되는 자식 클러스터를 생성하는 계층적 구조를 가진다. 각 자식 클러스터는 자체 API 서버와 컨트롤 플레인을 보유하며 부모 클러스터의 특정 네임스페이스 내에 격리된다. ClearML은 이 가상 클러스터의 프로비저닝부터 리소스 할당, 자동 확장 및 삭제까지의 전체 수명 주기를 자동화한다. 사용자는 복잡한 k3k 설정 없이 ClearML 인터페이스를 통해 즉시 독립적인 실험 환경을 구축할 수 있다.

관리 계층(부모)은 IT 부서가 소유하며 물리 노드, 스토리지 드라이버(CSI), 네트워크(CNI) 및 GPU 할당량을 제어한다. 실행 계층(자식)은 개발 팀에 할당되어 자유로운 운영이 가능하지만, 자식 클러스터 내의 보안 사고가 부모 클러스터나 다른 테넌트로 확산되지 않도록 설계되었다. 가상 모드(Virtual Mode)를 통해 API 서버 경계에서 공격자의 수평 이동을 차단한다. IT 부서는 하드 쿼터를 통해 물리 자원 고갈을 방지하면서 전체 테넌트에 대한 가시성을 유지한다.

SUSE와 ClearML의 계층 구조 다이어그램 — DiagramCompute Platform부터 ClearML AI Workload Management까지의 계층 구조를 시각화한다. SUSE Linux Enterprise Server 위에 RKE2와 Rancher Prime이 위치하고, 그 위에 SUSE AI와 ClearML이 통합되어 작동하는 방식을 나타낸다.

기술

ClearML
SUSE Rancher Prime
k3k
k3s
RKE2
Kubernetes

활용 사례

엔터프라이즈 AI 인프라 구축
멀티 테넌트 연구 환경 격리
커스텀 AI 스택 실험

언급된 리소스

DemoClearML Demo Request