GPU 대여 환경 재설정 문제를 해결하는 오픈소스 관리 도구 swm

섹션별 상세

GPU 대여 시마다 매번 환경을 재설정하는 시간과 비용 문제를 해결하기 위해 swm을 개발했다. 기존에는 Docker 이미지가 빠르게 구식화되고 제공업체마다 환경이 달라 이식성이 낮았다.

bash

swm gpus -g a100 --max-price 2.00 --sort price

여러 GPU 제공업체에서 특정 조건의 GPU를 검색하는 명령어

bash

swm pod create

선택한 제공업체에 GPU 인스턴스를 생성하는 명령어

bash

swm setup install comfyui

생성된 인스턴스에 ComfyUI를 설치하는 명령어

bash

pipx install swm-gpu

swm 도구를 설치하는 명령어

swm은 RunPod, Vast.ai, Lambda 등 여러 제공업체의 GPU 가격을 비교하고 인스턴스를 생성한다. 사용자는 swm gpus 명령어를 통해 가격과 사양을 기준으로 최적의 GPU를 찾을 수 있다.

워크스페이스를 S3 호환 스토리지에 동기화하여 인스턴스 종료 후에도 설정과 모델을 유지한다. swm pod down 명령어를 실행하면 데이터를 푸시하고 인스턴스를 종료하며, 다음 세션에서 즉시 복구 가능하다.

GPU 사용률을 모니터링하여 30분간 유휴 상태일 경우 자동으로 인스턴스를 종료하는 비용 절감 기능을 포함한다. 이는 사용자가 잠들거나 세션을 끄는 것을 잊었을 때 발생하는 불필요한 비용을 방지한다.

S3 호환 스토리지(S3-compatible storage): — 아마존 S3 API와 호환되는 객체 저장소 서비스이다. 이 아티클에서는 GPU 인스턴스 간의 환경 설정, 모델, 출력물 데이터를 동기화하고 저장하는 공간으로 활용된다.
GPU 인스턴스(GPU instance): — 클라우드 제공업체로부터 대여하여 사용하는 GPU가 탑재된 가상 서버이다. AI 모델 학습이나 추론을 위해 필요하며, 사용한 시간만큼 비용이 발생한다.
수명 주기 관리(Lifecycle management): — 리소스의 생성부터 종료까지의 과정을 제어하는 기법이다. 여기서는 GPU 사용률을 모니터링하여 유휴 상태일 때 자동으로 인스턴스를 종료함으로써 비용을 절감하는 기능을 의미한다.

swm추천

GPU 인스턴스 관리 및 환경 동기화

ComfyUI추천

이미지 생성 워크플로

Ollama추천

LLM 추론

vLLM추천

LLM 추론