TurboServe: 스트리밍 비디오 생성용 세션 기반 배치·오토스케일링 통합 시스템. 본 논문은 세션 배치와 GPU 오토스케일링을 통합해 최악 지연과 비용을 동시에 낮춘다. 세션 상태 보존과 NCCL 기반 GPU-GPU 마이그레이션을 구현해 온라인 재배치를 가능하게 한다.

스트리밍 비디오 생성은 세션 상태를 지속적으로 보존하면서 청크 단위로 엄격한 지연 목표를 만족시켜야 하는 새로운 워크로드이다. 기존의 일회성(stateless) 서빙 시스템은 장기 세션과 급변하는 사용자 활동에 의해 배치가 금세 비효율화되며 비용과 지연 측면에서 취약하다. TurboServe는 세션 마이그레이션과 로드 기반 GPU 오토스케일링을 결합하여 이러한 실무적 제약을 동시에 완화하고자 한다.

스트리밍 비디오 생성은 세션 단위로 상태(KV cache, 중간 latent 등)를 유지하며 청크별로 엄격한 지연을 맞추어야 하는 워크로드이다. 이때 주요 병목은 특정 GPU에 활성 세션이 몰려 worst-case per-chunk latency가 높아지는 것과 전체 GPU 예산이 변동하는 동안 자원 활용도가 크게 흔들리는 점이다. 따라서 세션 배치와 GPU 예산을 분리해 다루면 상호작용으로 인한 성능 저하가 발생한다는 점이 출발점이다. TurboServe의 해결 원리는 온라인 폐회로 제어이다. placement controller는 현재 제공된 GPU 집합 아래에서 worst-case latency를 줄이기 위해 이벤트 단위로 로컬 재배치를 수행하고, 각 후보 마이그레이션의 이득을 지연 감소와 마이그레이션 비용(α-β 모델)을 합산한 함수로 평가해 이득이 클 때만 이동을 적용한다. autoscaling controller는 placement가 제공하는 최대 정규화 부하 rho_max를 관찰 신호로 사용하여 목표 활용도 hat{rho}를 추적하고, 비례적 방식으로 목표 GPU 수 M_tar을 계산하여 scale-out/scale-in 결정을 내린다. 이 설계는 두 가지 실질적 이점을 제공한다. 첫째, 마이그레이션은 단일 GPU의 병목을 빠르게 완화해 worst-case latency를 낮추며, 이로 인해 autoscaling이 필요로 하는 여유(headroom) 신호가 더 정확해진다. 둘째, autoscaling은 수요 급변 시 자원을 확장하고 유휴 시 축소해 비용을 절감하며, 재배치와 결합하면 확장 직후와 축소 직전에 자원이 즉시 효율적으로 사용되거나 해제되도록 보장한다. 실험에서는 이 결합이 worst-case per-chunk latency를 평균 37.5% 개선하고 GPU 운영 비용을 평균 37.2% 절감하는 데 기여했다.

전체 접근은 이벤트 기반 스케줄러 설계와 실행 레벨 최적화를 결합한 구조로 구성되었다. 이벤트가 발생할 때마다 scheduler는 현재 활성 세션 집합 S(t)과 이전 배치 phi(t^{-}), 그리고 현재 GPU 예산 M(t^{-})를 입력으로 받는다. 우선 Place(·) 서브루틴이 신규 활성 세션 U(t)를 현재 GPU 집합에 할당하고, 이어 migration-aware min-max 재배치를 반복해 가장 큰 per-GPU 예상 지연을 줄이는 유의미한 이동만 적용한다. autoscaling은 Place가 계산한 최대 정규화 부하 rho_max(t)를 받아 작동한다. 목표 GPU 수 M_tar(t)는 N_req(t)/(K * hat{rho}(t))의 천장값으로 계산되며, hysteresis(±δ)와 비례 조정 규칙을 통해 과도한 진동을 방지한다. 또한 컨트롤 파라미터 (lambda(t), hat{rho}(t))는 슬라이딩 윈도우의 활동성 변동성 지표에 따라 오프라인 프로파일링을 통해 워크로드 수준별로 정해진 값을 선택해 적응적으로 조정한다. 실행 구현 측면에서는 세션 상태를 모델 레플리카와 분리된 per-session 메모리 영역으로 구성해 상태만 이동 또는 오프로드하도록 했다. GPU-GPU 마이그레이션은 chunk 경계에서 소스가 상태를 freeze한 뒤 타깃이 RDMA/NIC 일대일 접근으로 버퍼를 직접 가져오고, 전송 완료 시 소유권을 업데이트하는 프로토콜로 일관성을 확보한다. 이로써 마이그레이션 비용을 낮추고 청크 생성 경로의 중단을 최소화했다.

메인 벤치마크는 Shengshu Technology의 실제 프로덕션 트레이스를 사용해 여러 모델 크기와 두 개 클러스터(H20 16 GPU, B300 64 GPU)에서 수행되었다. 비교 대상은 TurboServe base, base+LAG(Load-Aware Greedy), base+MAG(Memory-Aware Greedy) 등이며, 두 가지 관점에서 평가했다: 동일 비용 하 최악 per-chunk latency와 동일 latency 하 GPU 운영 비용이다. 전반 결과에서 TurboServe는 동일 비용 조건에서 worst-case per-chunk latency를 평균 37.5% 감소시켰고 최대 51.6% 개선을 관찰했다. 비용 측면에서도 TurboServe는 동일 latency 제약에서 평균 GPU 운영 비용을 37.2% 절감했다(최대 49.0%). 예를 들어 1.3B 모델, Trace 1, Cluster 2 설정에서는 TurboServe가 base+LAG 대비 latency를 20.5% 낮추고 base+MAG 대비 26.6% 낮추는 등 전 범위에서 일관된 개선이 나타났다. Ablation 실험에서 마이그레이션을 제거하면 비용이 평균 15.0% 증가했고, 오토스케일링을 제거하면 비용이 평균 42.9% 증가하여 두 메커니즘의 상호 보완성이 수치로 확인되었다. 스케줄러 성능 평가에서는 migration-aware rebalancing가 64 GPU까지 15 ms 이내로 완료되어 per-chunk 생성 시간(수백 ms) 대비 매우 작은 오버헤드를 가졌고, 오라클(전수 탐색) 대비 평균 격차를 3.6%로 줄이면서 스케줄링 시간을 10× 이상 단축했다. 오프라인 비용 최적화 오라클과 비교한 autoscaling 비용은 평균 6.1% 이내의 격차로 실시간 온라인 운영으로서는 실무적으로 수용 가능한 성능을 보였다.

전체 아키텍처는 Workload Detector, Placement Controller, Autoscaling Controller, Session Manager의 네 컴포넌트로 구성되어 중앙의 TurboServe 제어 루프를 형성한다. Workload Detector는 세션 도착·종료·활성화·비활성화 이벤트를 슬라이딩 윈도우로 집계해 수요 변동성 지표를 생성하고, 이 지표는 autoscaling의 제어 파라미터(lambda, hat{rho}) 선택에 사용된다. Placement Controller는 초기화 단계에서 이전 배치를 유지하고 신규 활성 세션만 할당한 뒤, migration-aware min-max 재배치를 반복해 worst-case latency를 낮춘다. Migration 후보 평가는 각 이동의 지연 감소량과 마이그레이션 비용 κ_i(t)를 α-β 모델로 추정해 이득 Γ_{i,j'}(t)=L(t)-L'(t)-η·κ_i(t)를 계산하고, 이득이 양수인 이동만 적용한다. 이 반복은 병목 GPU에 대해 K개의 세션 후보와 M(t) 대상 GPU를 평가하므로 이벤트 당 복잡도는 대체로 O(K·M(t))로 유지되어 스케줄링 오버헤드가 작다. Autoscaling은 N_req(t)/(K·hat{rho}(t))의 천장값으로 목표 M_tar를 계산하고, hysteresis(δ)와 비례 조정 규칙으로 진동을 억제한다. 세션 상태 저장 구조는 모델 레플리카와 분리된 per-session 상태 영역, 세션 디스크립터, 소유권 테이블로 구성되어 상태만 이동하거나 오프로드할 수 있다. GPU-GPU 마이그레이션은 chunk 경계에서 상태를 freeze한 뒤 타깃이 RDMA/NIC 기반 one-sided 접근으로 버퍼를 가져오고 완료 시 소유권을 전환하는 프로토콜을 취해 일관성을 보장한다. 이 과정은 모델 로딩이나 출력 이동을 포함하지 않으므로 전송 비용을 최소화한다.