Modal 제품 업데이트: AWS 및 GCP 마켓플레이스 출시와 샌드박스 관측성 개선

섹션별 상세

01

AWS 및 GCP 마켓플레이스 출시를 통해 기업 고객은 별도의 결제 프로세스 없이 기존 클라우드 서비스 약정 금액(Spend Commitment)을 Modal 사용료로 충당할 수 있다.

02

샌드박스 UI 업데이트로 리소스 할당량과 실행 지역 정보를 명확히 확인할 수 있으며, 생성부터 종료까지의 전 과정을 보여주는 실행 타임라인 기능이 추가되어 디버깅 편의성이 높아졌다.

03

Modal 클라이언트 1.3.1 버전부터 Python 3.14를 지원하며, 특히 GIL이 제거된 프리 스레딩(free-threaded) 모드를 실험적으로 지원하여 멀티코어 활용 성능을 테스트할 수 있다.

bash

run uv pip install --upgrade modal

최신 기능이 포함된 Modal 클라이언트를 업데이트하는 명령어

04

핀테크 기업 Ramp는 Modal 샌드박스의 즉각적인 시작과 무제한 동시성 기능을 활용해 내부 코딩 에이전트 'Inspect'를 구축했으며, 현재 전체 프로덕션 PR의 30%를 자동 생성하고 있다.

05

글로벌 분산 GPU 플릿 운영 노하우를 공개하며, 2만 대 이상의 GPU에서 발생하는 장애 모드를 모니터링하고 머신 이미지 준비 및 지속적인 헬스 체크를 수행하는 체계를 구축했다.

06

LLM 추론 워크로드를 오프라인, 온라인, 세미 온라인 세 가지 유형으로 분류하고, vLLM 및 SGLang과 같은 엔진을 Modal 인프라에서 최적으로 구성하는 방법론을 제시했다.

샌드박스(Sandbox): — 외부 환경으로부터 격리된 가상 실행 환경이다. Modal에서는 각 작업이 독립된 컨테이너에서 실행되어 보안을 유지하고 리소스를 효율적으로 할당하며, 빠른 시작과 스냅샷 기능을 통해 개발 환경을 즉각적으로 복구할 수 있게 한다.
프리 스레딩 파이썬(Free-threaded Python): — Python 3.13부터 도입된 실험적 기능으로, 전역 인터프리터 락(GIL)을 제거하여 멀티코어 프로세서에서 여러 스레드가 동시에 실행될 수 있도록 한다. CPU 집약적인 작업을 병렬로 처리할 때 성능을 획기적으로 향상시킬 수 있는 기술이다.
추론 워크로드(Inference Workload): — 학습된 AI 모델을 실제 서비스에 적용하여 결과값을 생성할 때 발생하는 작업 부하이다. 실시간 응답이 필요한 온라인 방식과 대량의 데이터를 한꺼번에 처리하는 오프라인 방식 등으로 나뉘며, 각 유형에 따라 GPU 할당 및 최적화 전략이 달라진다.
GPU 플릿(GPU Fleet): — 클라우드 인프라에서 관리되는 대규모 GPU 서버 집합이다. 수만 대의 GPU를 안정적으로 운영하기 위해서는 개별 인스턴스의 상태를 지속적으로 모니터링하고, 장애 발생 시 자동으로 교체하거나 복구하는 고도의 오케스트레이션 기술이 필요하다.