Doppel이 Modal을 통해 머신러닝 인프라 비용과 복잡성을 제거한 방법

섹션별 상세

기존의 실험 파이프라인은 모든 학습 작업을 순차적으로 실행하여 하나의 가설을 검증하는 데 수 시간이 소요되는 병목 현상이 발생했다. Modal 도입 후에는 map() 함수와 같은 간단한 파이썬 구문을 통해 별도의 오케스트레이션 레이어 없이 수십 개의 실험을 즉시 병렬로 실행한다. 특히 K-fold 교차 검증 시 각 폴드를 독립적인 워커에서 동시에 처리함으로써 전체 피드백 루프를 획기적으로 단축했다. 이는 인프라 관리 부담을 제거하고 ML 엔지니어가 더 많은 아이디어를 빠르게 테스트할 수 있는 환경을 조성한다.

기존의 순차적 실험 파이프라인과 Modal 도입 후의 병렬 실험 파이프라인 비교 다이어그램이다. — Diagram기존에는 실험 1이 끝나야 실험 2가 시작되는 직렬 구조였으나, Modal 도입 후에는 여러 실험이 동시에 실행되어 전체 소요 시간이 단축됨을 시각적으로 보여준다. 이는 본문에서 언급한 실험 피드백 루프 단축의 핵심 근거가 된다.

GCP Cloud Run 기반의 기존 추론 스택은 모델 이미지 빌드에만 10-30분이 소요되었고, 단일 GPU 제한으로 인해 스케일링 효율이 낮았다. Modal의 이미지 레이어 캐싱과 퍼시스턴트 볼륨 기술을 적용하여 복잡한 모델의 빌드 시간을 1분 미만으로 줄이고 최대 10배의 속도 향상을 달성했다. 또한 서버리스 아키텍처를 통해 예측 불가능한 공격 트래픽 스파이크에 맞춰 GPU 리소스를 자동으로 확장하며 운영 오버헤드를 최소화했다. Flask와 같은 별도의 HTTP 서비스 레이어 없이 함수를 직접 호출하는 구조로 전환하여 유지보수가 필요한 코드 양을 크게 줄였다.

GCP 기반의 기존 아키텍처와 Modal 기반의 간소화된 아키텍처를 비교한 도식이다. — DiagramGCP 환경에서는 Docker 빌드, Cloud Run 배포, HTTP 엔드포인트 설정 등 복잡한 단계가 필요했으나, Modal에서는 이러한 중간 단계가 제거되고 직접 함수를 호출하는 구조로 단순화되었음을 나타낸다. 운영 오버헤드 감소를 증명하는 중요한 자료이다.

실험 제안부터 결과 요약까지의 반복적인 ML 개발 주기를 자동화하기 위해 자율형 실험 에이전트와의 통합을 추진했다. Modal CLI는 에이전트가 실험을 실행하고 로그를 검사하며 결과를 회수하는 데 필요한 모든 인터페이스를 명령줄 환경에서 제공한다. 이를 통해 Andrej Karpathy의 autoresearch와 유사한 자율 실험 루프를 구축하여 인간의 개입 없이도 수많은 가설을 동시에 평가할 수 있게 되었다. 결과적으로 개발의 병목이 인프라에서 '어떤 아이디어를 테스트할 것인가'라는 본질적인 문제로 이동했다.

용어 해설

서버리스(Serverless): — 개발자가 서버의 프로비저닝이나 관리 없이 코드를 실행할 수 있는 클라우드 컴퓨팅 모델이다. 요청이 있을 때만 리소스를 할당하고 실행이 끝나면 회수하므로 운영 오버헤드를 줄이고 비용 효율성을 높인다. 이 아티클에서는 Modal이 제공하는 서버리스 인프라를 통해 ML 워크로드를 유연하게 확장하는 맥락에서 사용됐다.
K-폴드 교차 검증(K-fold Cross Validation): — 데이터셋을 K개의 하위 집합으로 나누어 모델의 성능을 평가하는 통계적 기법이다. 각 폴드가 독립적으로 학습 및 검증될 수 있어 병렬 처리에 매우 적합한 작업이다. Doppel은 이 작업을 Modal의 병렬 실행 기능을 통해 가속화하여 실험 피드백 루프를 단축했다.
콜드 스타트(Cold Start): — 서버리스 환경에서 유휴 상태였던 함수나 컨테이너가 첫 요청을 처리하기 위해 새로 구동될 때 발생하는 지연 시간이다. 모델 가중치가 큰 ML 추론에서는 이 지연이 사용자 경험에 악영향을 미칠 수 있다. 본문에서는 GCP Cloud Run 대비 Modal의 빠른 프로비저닝 성능을 강조하며 언급됐다.
퍼시스턴트 볼륨(Persistent Volume): — 컨테이너의 생명 주기와 독립적으로 데이터를 영구적으로 저장하고 공유할 수 있는 스토리지 리소스이다. 대용량 모델 가중치를 매번 다운로드하지 않고 즉시 로드할 수 있게 하여 빌드 및 배포 속도를 높인다. Modal은 이를 통해 모델 로딩 시간을 획기적으로 단축했다.
오케스트레이션(Orchestration): — 여러 컨테이너나 워커의 배치, 관리, 확장 및 네트워킹을 자동화하는 프로세스이다. 복잡한 ML 파이프라인을 운영하기 위해 필수적이지만 구축과 유지보수에 많은 비용이 든다. Modal은 이러한 복잡한 레이어 없이 파이썬 코드만으로 병렬 처리를 가능하게 하여 이 비용을 제거했다.

기술

Modal
GCP
Cloud Run
Python
Flask
Docker

활용 사례

실시간 위협 탐지 시스템
병렬 K-fold 교차 검증
자율 ML 실험 에이전트

언급된 리소스

GitHubautoresearch by Andrej Karpathy