TurboServe: 스트리밍 비디오 생성용 세션 기반 배치·오토스케일링 통합 시스템. 본 논문은 세션 배치와 GPU 오토스케일링을 통합해 최악 지연과 비용을 동시에 낮춘다. 세션 상태 보존과 NCCL 기반 GPU-GPU 마이그레이션을 구현해 온라인 재배치를 가능하게 한다.

왜 중요한가

스트리밍 비디오 생성은 세션 상태를 지속적으로 보존하면서 청크 단위로 엄격한 지연 목표를 만족시켜야 하는 새로운 워크로드이다. 기존의 일회성(stateless) 서빙 시스템은 장기 세션과 급변하는 사용자 활동에 의해 배치가 금세 비효율화되며 비용과 지연 측면에서 취약하다. TurboServe는 세션 마이그레이션과 로드 기반 GPU 오토스케일링을 결합하여 이러한 실무적 제약을 동시에 완화하고자 한다.

관련 Figure

Diagram
이 그림은 스트리밍 비디오 생성의 핵심 차이를 시각적으로 정리하여 세션이 활성/유휴를 반복하며 상태를 유지해야 함을 보여준다. 특히 하단의 시퀀스는 세션이 여러 청크를 생성하는 동안 상태가 보존되고 중단 후 재개될 수 있음을 강조해 placement와 오토스케일링 필요성을 뒷받침한다. 이 도식은 논문에서 문제 정의와 설계 동기를 연결하는 근거 자료로 직접적으로 활용된다.
상단에는 stateless 일회성 생성과 하단에는 stateful 스트리밍 세션의 차이를 도식화한 그림이다.

핵심 기여

스트리밍 비디오 생성 서빙을 온라인 스케줄링 문제로 정식화

논문은 세션 배치와 GPU 프로비저닝을 결합한 온라인 최적화 문제를 정의했다. 목적함수는 GPU 운영 비용과 최악의 per-chunk 지연을 동시에 최소화하는 형태로 설정되며, 각 이벤트(세션 도착·활성화·유휴·종료) 시점에 결정이 이루어진다. 이 정식화은 세션 지속시간의 이질성과 시간에 따른 수요 변동을 제어파라미터로 처리하도록 설계되었다.

마이그레이션 인식 배치와 로드 기반 오토스케일링을 결합한 폐회로 스케줄러

TurboServe는 마이그레이션 인식 placement controller와 로드 피드백을 활용하는 autoscaling controller를 폐회로로 결합했다. placement controller는 이벤트 기반의 min-max 재배치(local search)를 수행해 병목 GPU의 worst-case 지연을 낮추고, autoscaling controller는 최대 정규화 부하 신호 rho_max를 기반으로 목표 활용도 hat{rho}를 추적해 M_tar을 계산한다. 두 컨트롤러는 scale-out 시 먼저 자원을 추가하고 재배치하며, scale-in 시 재배치로 세션을 통합한 뒤 자원을 해제한다.

실행 레벨 메커니즘: 동시 청크 처리, GPU-CPU 오프로드, NCCL 기반 마이그레이션

시스템 구현은 coalesced chunk processing으로 동시 활성 세션을 같은 GPU에서 배치 실행하여 GPU 사용률을 높였다. 유휴 세션은 GPU-CPU 오프로드로 호스트 메모리에 저장해 GPU 슬롯을 회수하며, 활성 복귀 시 상태를 복원한다. 활발한 재배치를 위해 per-session 상태만 NCCL/RDMA 스타일로 직접 전송하는 GPU-GPU 마이그레이션을 도입해 모델 레플리카 이동 없이 빠른 이동을 가능하게 했다.

핵심 아이디어 이해하기

스트리밍 비디오 생성은 세션 단위로 상태(KV cache, 중간 latent 등)를 유지하며 청크별로 엄격한 지연을 맞추어야 하는 워크로드이다. 이때 주요 병목은 특정 GPU에 활성 세션이 몰려 worst-case per-chunk latency가 높아지는 것과 전체 GPU 예산이 변동하는 동안 자원 활용도가 크게 흔들리는 점이다. 따라서 세션 배치와 GPU 예산을 분리해 다루면 상호작용으로 인한 성능 저하가 발생한다는 점이 출발점이다. TurboServe의 해결 원리는 온라인 폐회로 제어이다. placement controller는 현재 제공된 GPU 집합 아래에서 worst-case latency를 줄이기 위해 이벤트 단위로 로컬 재배치를 수행하고, 각 후보 마이그레이션의 이득을 지연 감소와 마이그레이션 비용(α-β 모델)을 합산한 함수로 평가해 이득이 클 때만 이동을 적용한다. autoscaling controller는 placement가 제공하는 최대 정규화 부하 rho_max를 관찰 신호로 사용하여 목표 활용도 hat{rho}를 추적하고, 비례적 방식으로 목표 GPU 수 M_tar을 계산하여 scale-out/scale-in 결정을 내린다. 이 설계는 두 가지 실질적 이점을 제공한다. 첫째, 마이그레이션은 단일 GPU의 병목을 빠르게 완화해 worst-case latency를 낮추며, 이로 인해 autoscaling이 필요로 하는 여유(headroom) 신호가 더 정확해진다. 둘째, autoscaling은 수요 급변 시 자원을 확장하고 유휴 시 축소해 비용을 절감하며, 재배치와 결합하면 확장 직후와 축소 직전에 자원이 즉시 효율적으로 사용되거나 해제되도록 보장한다. 실험에서는 이 결합이 worst-case per-chunk latency를 평균 37.5% 개선하고 GPU 운영 비용을 평균 37.2% 절감하는 데 기여했다.

관련 Figure

Diagram
이 패널은 스케일아웃 시 새로운 GPU를 추가한 뒤 세션을 재분배해 n 값(각 GPU의 세션 수)과 전체 M(t)를 어떻게 변화시키는지를 순차적으로 보여준다. 또한 스케일인 시에는 재배치를 먼저 수행해 세션을 통합한 뒤 GPU를 제거하는 흐름을 제시하여 알고리즘의 작동 순서가 왜 중요한지를 증명한다. 이 그림은 placement와 autoscaling의 상호작용을 직관적으로 이해하는 데 중요한 보조 자료이다.
스케일 아웃·인과 재배치 예시를 통해 GPU별 세션 분포가 어떻게 변화하는지 보여주는 사례 패널이다.

방법론

전체 접근은 이벤트 기반 스케줄러 설계와 실행 레벨 최적화를 결합한 구조로 구성되었다. 이벤트가 발생할 때마다 scheduler는 현재 활성 세션 집합 S(t)과 이전 배치 phi(t^{-}), 그리고 현재 GPU 예산 M(t^{-})를 입력으로 받는다. 우선 Place(·) 서브루틴이 신규 활성 세션 U(t)를 현재 GPU 집합에 할당하고, 이어 migration-aware min-max 재배치를 반복해 가장 큰 per-GPU 예상 지연을 줄이는 유의미한 이동만 적용한다. autoscaling은 Place가 계산한 최대 정규화 부하 rho_max(t)를 받아 작동한다. 목표 GPU 수 M_tar(t)는 N_req(t)/(K * hat{rho}(t))의 천장값으로 계산되며, hysteresis(±δ)와 비례 조정 규칙을 통해 과도한 진동을 방지한다. 또한 컨트롤 파라미터 (lambda(t), hat{rho}(t))는 슬라이딩 윈도우의 활동성 변동성 지표에 따라 오프라인 프로파일링을 통해 워크로드 수준별로 정해진 값을 선택해 적응적으로 조정한다. 실행 구현 측면에서는 세션 상태를 모델 레플리카와 분리된 per-session 메모리 영역으로 구성해 상태만 이동 또는 오프로드하도록 했다. GPU-GPU 마이그레이션은 chunk 경계에서 소스가 상태를 freeze한 뒤 타깃이 RDMA/NIC 일대일 접근으로 버퍼를 직접 가져오고, 전송 완료 시 소유권을 업데이트하는 프로토콜로 일관성을 확보한다. 이로써 마이그레이션 비용을 낮추고 청크 생성 경로의 중단을 최소화했다.

관련 Figure

Diagram
이 다이어그램은 TurboServe의 제어 흐름과 컴포넌트 경계를 명확히 드러낸다. Workload Detector가 이벤트를 수집해 Placement와 Autoscaling에 전달하고, Session Manager가 GPU-CPU 오프로드·마이그레이션을 수행하는 실행 경로가 연결되어 있어 폐회로 스케줄러의 동작 원리가 시각적으로 확인된다. 클러스터 측과의 상호작용(배치 결정, 확장 결정, 상태 전송)이 명시되어 설계와 구현 세부의 연결고리를 제공한다.
TurboServe의 시스템 구성도와 네 개 주요 컴포넌트(Workload Detector, Placement Controller, Autoscaling Controller, Session Manager)와 GPU 클러스터 간의 상호작용을 보여주는 다이어그램이다.

주요 결과

메인 벤치마크는 Shengshu Technology의 실제 프로덕션 트레이스를 사용해 여러 모델 크기와 두 개 클러스터(H20 16 GPU, B300 64 GPU)에서 수행되었다. 비교 대상은 TurboServe base, base+LAG(Load-Aware Greedy), base+MAG(Memory-Aware Greedy) 등이며, 두 가지 관점에서 평가했다: 동일 비용 하 최악 per-chunk latency와 동일 latency 하 GPU 운영 비용이다. 전반 결과에서 TurboServe는 동일 비용 조건에서 worst-case per-chunk latency를 평균 37.5% 감소시켰고 최대 51.6% 개선을 관찰했다. 비용 측면에서도 TurboServe는 동일 latency 제약에서 평균 GPU 운영 비용을 37.2% 절감했다(최대 49.0%). 예를 들어 1.3B 모델, Trace 1, Cluster 2 설정에서는 TurboServe가 base+LAG 대비 latency를 20.5% 낮추고 base+MAG 대비 26.6% 낮추는 등 전 범위에서 일관된 개선이 나타났다. Ablation 실험에서 마이그레이션을 제거하면 비용이 평균 15.0% 증가했고, 오토스케일링을 제거하면 비용이 평균 42.9% 증가하여 두 메커니즘의 상호 보완성이 수치로 확인되었다. 스케줄러 성능 평가에서는 migration-aware rebalancing가 64 GPU까지 15 ms 이내로 완료되어 per-chunk 생성 시간(수백 ms) 대비 매우 작은 오버헤드를 가졌고, 오라클(전수 탐색) 대비 평균 격차를 3.6%로 줄이면서 스케줄링 시간을 10× 이상 단축했다. 오프라인 비용 최적화 오라클과 비교한 autoscaling 비용은 평균 6.1% 이내의 격차로 실시간 온라인 운영으로서는 실무적으로 수용 가능한 성능을 보였다.

관련 Figure

Chart
이 차트 묶음은 TurboServe와 여러 베이스라인(TurboServe_base, base+LAG, base+MAG) 간의 정량적 비교를 보여주며, 동일 비용 조건에서 latency 개선과 동일 latency 조건에서 비용 절감이 모두 나타남을 증명한다. 차트 상의 수치(예: 평균 37.5% latency 감소, 37.2% 비용 절감)가 본문에서 보고된 주요 성능 지표와 일관되어 결과의 신뢰도를 높인다. 다양한 모델과 트레이스에 걸친 반복 실험이 있음을 시각적으로 확인할 수 있다.
여러 실험 구성(모델 크기·트레이스·클러스터)에 대해 worst-case latency, per-chunk 비용 등 성능 지표를 비교하는 다중 차트 집합이다.

기술 상세

전체 아키텍처는 Workload Detector, Placement Controller, Autoscaling Controller, Session Manager의 네 컴포넌트로 구성되어 중앙의 TurboServe 제어 루프를 형성한다. Workload Detector는 세션 도착·종료·활성화·비활성화 이벤트를 슬라이딩 윈도우로 집계해 수요 변동성 지표를 생성하고, 이 지표는 autoscaling의 제어 파라미터(lambda, hat{rho}) 선택에 사용된다. Placement Controller는 초기화 단계에서 이전 배치를 유지하고 신규 활성 세션만 할당한 뒤, migration-aware min-max 재배치를 반복해 worst-case latency를 낮춘다. Migration 후보 평가는 각 이동의 지연 감소량과 마이그레이션 비용 κ_i(t)를 α-β 모델로 추정해 이득 Γ_{i,j'}(t)=L(t)-L'(t)-η·κ_i(t)를 계산하고, 이득이 양수인 이동만 적용한다. 이 반복은 병목 GPU에 대해 K개의 세션 후보와 M(t) 대상 GPU를 평가하므로 이벤트 당 복잡도는 대체로 O(K·M(t))로 유지되어 스케줄링 오버헤드가 작다. Autoscaling은 N_req(t)/(K·hat{rho}(t))의 천장값으로 목표 M_tar를 계산하고, hysteresis(δ)와 비례 조정 규칙으로 진동을 억제한다. 세션 상태 저장 구조는 모델 레플리카와 분리된 per-session 상태 영역, 세션 디스크립터, 소유권 테이블로 구성되어 상태만 이동하거나 오프로드할 수 있다. GPU-GPU 마이그레이션은 chunk 경계에서 상태를 freeze한 뒤 타깃이 RDMA/NIC 기반 one-sided 접근으로 버퍼를 가져오고 완료 시 소유권을 전환하는 프로토콜을 취해 일관성을 보장한다. 이 과정은 모델 로딩이나 출력 이동을 포함하지 않으므로 전송 비용을 최소화한다.

실무 활용

TurboServe의 구현 코드는 공개된 GitHub 저장소와 Shengshu Technology의 프로덕션 트레이스를 바탕으로 평가되었다. 시스템은 세션 단위 스트리밍 비디오 생성 서비스에서 실시간 재배치와 비용 효율적 오토스케일링을 동시에 달성하도록 설계되었다. 따라서 실제 서비스 환경에서 세션 지속 시간이 길고 사용자 활동이 급변하는 워크로드에 바로 적용 가능하다.

인터랙티브한 스트리밍 비디오 생성 서비스 운영에서 GPU 예산을 자동으로 조정하고 세션 배치를 재분배해 최악의 청크 지연을 낮추는 데 사용될 수 있다. 운영자는 trace 기반 정책 없이도 runtime 피드백으로 자원을 신속히 확장·축소할 수 있으며, 재배치를 통해 일시적 병목을 완화할 수 있다.
콘텐츠 제작 파이프라인에서 사용자별 장기 편집 세션을 유지하면서 유휴 기간에 GPU 자원을 회수해 비용을 절감하는 용도로 활용될 수 있다. GPU-CPU 오프로드로 세션 상태를 보존하고 필요 시 빠르게 복구함으로써 장기 세션을 많은 수로 유지할 수 있다.
대규모 GPU 클러스터에서 모델 레플리카를 미리 스테이지한 환경 하에서, 실시간 트래픽 급변에 대응해 scale-out 직후에 재배치를 수행하여 신규 추가 자원을 즉각 활용 가능한 상태로 만드는 데 활용될 수 있다. 이 방식을 통해 확장 지연을 줄이고 자원 활용도를 높일 수 있다.

코드 공개 여부: 공개

코드 저장소 보기

키워드

streaming-video-generation(스트리밍 비디오 생성)session-state-preservation(세션 상태 보존)autoscaling(오토스케일링)migration-aware-placement(마이그레이션 인식 배치)coalesced-chunk-processing(동시 청크 처리)

용어 해설

동시 청크 처리(Coalesced Chunk Processing): — 동시에 활성 상태인 여러 세션의 다음 청크를 같은 GPU에서 배치 처리하여 모델 실행 비용을 공유하는 기법이다. 준비된 세션들을 수집해 하나의 배치로 모델을 한 번 호출하고 각 세션의 상태와 출력을 개별적으로 갱신함으로써 GPU 활용도를 높인다. 스트리밍 비디오 생성에서는 각 청크의 지연 목표를 보전하면서 동시성으로 효율을 얻는 데 핵심적이다.
GPU-CPU 상태 오프로드(GPU-CPU Offloading): — 비활성(session idle) 세션의 영속 상태를 GPU 메모리에서 호스트 메모리로 복사하여 GPU 슬롯을 해제하는 기법이다. 세션이 다시 활성화될 때 호스트 메모리의 상태를 선택된 GPU로 복원하여 이어서 생성 작업을 진행한다. 장시간 살아있는 세션이 많은 스트리밍 환경에서 GPU 자원을 절약하면서 상태 보존을 가능하게 한다.
NCCL 기반 GPU 간 상태 마이그레이션(NCCL-based GPU-GPU Migration): — 소스 GPU의 세션 상태 버퍼를 타깃 GPU가 직접 읽는 방식(RDMA/NIC 기반)으로 전송하여 세션만을 이동시키는 기법이다. 모델 레플리카를 이동하지 않고 필요한 per-session 상태만 전송하므로 이전 비용과 중단 시간을 최소화한다. 실시간 재배치 시 병목을 줄이고 빠른 재분배를 가능하게 하는 핵심 구현 방식이다.
마이그레이션 인식 최소-최대 재배치(Migration-aware Min-Max Rebalancing): — 가장 높은 per-chunk 지연을 유발하는 GPU의 부하를 줄이기 위해 특정 세션을 다른 GPU로 이동시키며 최댓값을 최소화하는 로컬 탐색 기반의 재배치 알고리즘이다. 각 후보 이동의 지연 감소 이득과 마이그레이션 비용을 비교해 이득이 클 때만 이동을 적용한다. 온라인 이벤트 단위로 실행되어 지속적으로 병목을 완화한다.

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

생성형 비디오의 새로운 축: 실시간 추론과 효율적인 서빙 전략

MiniMax H3와 NVIDIA B200으로 구현한 무한 AI 스트리밍 시스템.

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

관련 토론

댓글

관련 기사

생성형 비디오의 새로운 축: 실시간 추론과 효율적인 서빙 전략

MiniMax H3와 NVIDIA B200으로 구현한 무한 AI 스트리밍 시스템.