공유 GPU 플릿에서 천 개의 모델을 운영하는 문제와 설계 고려사항

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

수천 개의 비전 모델을 공유 GPU 플릿에서 운영할 때 입력 데이터가 수메가바이트급으로 크고 추론 레이턴시가 따뜻한 경로(약 5ms)와 콜드 스타트 경로(통상 30초 이상)로 극단적으로 나뉘며 VRAM 자원은 소수의 모델만 상주시켜 어느 모델이 VRAM에 있느냐가 응답 속도를 좌우한다고 보고하였다. 동기적 요청-응답 API는 클라이언트·로드밸런서·서버의 서로 다른 타임아웃 충돌, 느린 요청이 빠른 요청을 기아 상태로 만드는 현상, 동일 모델 로드에 따른 대기열 형성과 같은 문제를 반복적으로 일으켜 시스템 불안정을 초래한다고 지적하였다. 따라서 설계자는 입력-출력 역전, 레이턴시 이원화, VRAM 다중 입주라는 세 가지 특성을 전제로 시스템 아키텍처를 재검토해야 하며 동기화된 단일 경로에 의존할 경우 재시도·자원 낭비·서비스 마비 같은 운영 리스크가 지속될 것이라고 결론지었다.

섹션별 상세

비전 추론 워크로드는 입력 데이터가 수메가바이트급 고해상도 프레임이고 출력은 소수 킬로바이트의 검출 결과라는 점에서 전통적인 CRUD 서비스와 근본적으로 다르며, 이로 인해 네트워크와 버퍼링 설계가 시스템 성능을 결정한다. 처리 흐름은 클라이언트가 이미지를 POST하면 서버가 프레임을 받아 전처리하고 모델에 입력한 뒤 소형 JSON 예측을 반환하는 방식으로 진행된다. 원문에서는 이 특성을 '입력-출력 역전(ingress inversion)'으로 지적하고 있으며, 이 특성 때문에 인바운드 데이터 처리량이 비용과 병목을 주도한다고 설명하고 있다. 결과적으로 데이터 크기 자체가 시스템 설계상의 핵심 제약으로 나타난다.

레이턴시는 극단적으로 이원화되어 일부 요청은 약 5밀리초의 '따뜻한' 응답을 보이는 반면 콜드 스타트는 모델을 레지스트리에서 불러와 VRAM으로 스트리밍하는 과정에서 통상 30초, 대형 기반 모델은 1분 이상 소요되며 전체 분포는 중앙값이 100밀리초 이하로 나오더라도 1~2%의 요청이 10초를 넘는다는 수치로 이 현상이 드러난다. 입력이 들어오면 먼저 메모리 상의 모델 존재 여부를 판정하고, 존재하면 즉시 추론을 수행하여 빠른 응답을 만들고, 비존재 시에는 모델을 페치·디시리얼라이즈·로딩하는 장기 작업을 수행한다는 점에서 처리 경로가 전혀 다르다. 이 이원화로 인해 클라이언트·로드밸런서·서버의 각각 다른 타임아웃이 충돌하며 짧은 타이머가 연결을 종료시키고 GPU는 결국 응답을 돌려주지 못하는 작업을 계속 수행함으로써 재시도와 자체적인 서비스 거부 현상이 발생한다고 본문이 기술하고 있다.

수천 개의 고객별 모델과 소수의 대형 기반 모델이 같은 플릿에서 공존하면 VRAM 거주 여부가 곧 응답 속도를 결정하며, 동기적 요청-응답 방식으로 서빙할 경우 타임아웃 발생·느린 요청이 빠른 요청을 기아 상태로 만드는 현상·그리고 콜드 모델 로드에 요청들이 줄지어 대기하는 '컨보이' 현상이 반복적으로 발생한다고 원문은 지적한다. 구체적으로 콜드 로드가 병렬로 처리되더라도 동일 모델에 대한 후속 요청은 선행 로드가 완료될 때까지 전부 대기하게 되고, 카탈로그가 긴 꼬리를 가질수록 플릿 어딘가에서 항상 컨보이가 형성될 가능성이 높다. 이러한 운영적 결과는 동기형 API 설계가 비전 추론의 특성적 제약을 견디지 못한다는 결론으로 이어지며, 시스템 설계는 이들 특성을 전제로 재검토되어야 한다.

용어 해설

Ingress Inversion: — 비전 추론 파이프라인에서 입력이 다수의 메가바이트급 고해상도 프레임이고 출력이 소수 킬로바이트의 검출 결과인 현상으로, 입력 처리 비용이 전체 비용 구조를 지배하여 네트워크·버퍼링·초기 처리 설계가 시스템 성능을 결정한다.
Cold Start: — GPU 메모리에 모델이 로드되지 않은 상태에서 추론 요청이 들어올 때 모델을 레지스트리에서 읽어 디시리얼라이즈한 뒤 VRAM으로 스트리밍해야 하는 과정으로, 이 과정이 수십 초 수준의 지연을 유발하여 레이턴시 분포를 이원화한다.
VRAM Multi-Tenancy: — 단일 GPU 메모리에 수천 개 모델 전체가 들어갈 수 없기 때문에 특정 시점에 '따뜻한' 모델들만 VRAM에 상주하게 되는 운영 패턴으로, 어떤 모델이 어디에 상주하느냐에 따라 요청의 처리 속도가 극단적으로 달라진다.