Nitsum: 적응형 텐서 병렬 처리를 활용한 계층형 LLM 요청 서빙

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

LLM 서빙은 실시간 채팅부터 백그라운드 작업까지 다양한 SLO를 가진 요청을 동시에 처리해야 하지만, 기존 시스템은 텐서 병렬 처리(TP) 수준을 고정하여 자원 활용도가 낮다. Nitsum은 TP 수준을 런타임에 동적으로 변경하는 제어 표면으로 활용하여 자원 효율을 극대화한다. 사전 준비된 프로세스와 최적화된 KV 캐시 마이그레이션 커널을 통해 TP 전환 오버헤드를 1초 미만으로 단축했다. 실제 워크로드 테스트에서 기존 시스템 대비 SLO 준수 처리량(goodput)을 최대 5.3배 향상했다.

배경

LLM 서빙 아키텍처 이해, 텐서 병렬 처리(Tensor Parallelism) 개념, GPU 메모리 관리 및 CUDA 커널 기초

대상 독자

프로덕션 환경에서 LLM을 서빙하는 엔지니어 및 연구자

의미 / 영향

이 기술은 고정된 GPU 자원에서 다양한 우선순위의 LLM 요청을 효율적으로 처리할 수 있게 하여 인프라 비용을 절감한다. 특히 TP 수준을 런타임 자원으로 활용하는 접근 방식은 향후 LLM 서빙 시스템 설계의 새로운 표준이 될 가능성이 있다.

섹션별 상세

LLM 서비스는 TTFT와 TPOT이라는 두 가지 핵심 SLO를 만족해야 하며, 요청마다 요구사항이 달라 고정된 자원 할당으로는 비효율이 발생한다.

텐서 병렬 처리(TP) 수준은 모델의 메모리 사용량과 통신 비용에 영향을 미치며, 워크로드의 특성에 따라 최적의 TP 설정이 실시간으로 변화한다.

텐서 병렬 처리 수준이 TTFT, 처리량, 캐시 적중률, 통신 비용에 미치는 영향. — Chart다양한 모델과 GPU 환경에서 TP 수준 변화가 성능 지표에 미치는 영향을 보여준다. TP 수준이 높을수록 메모리 효율이 개선되어 특정 구간에서 처리량이 증가함을 입증한다.

Nitsum은 각 TP 수준에 맞는 GPU 프로세스를 미리 실행하고 대기 상태로 유지하여, 런타임에 별도의 프로파일링이나 컴파일 없이 즉각적인 TP 전환을 수행한다.

분산된 KV 캐시를 하나의 연속된 버퍼로 모아 전송하는 커널을 구현하여, TP 전환 시 발생하는 상태 마이그레이션 지연을 기존 대비 245배 이상 줄였다.

TP 수준 변경 시 KV 캐시 변환 과정. — DiagramTP 1에서 TP 4로 변경될 때 KV 헤드가 어떻게 재배치되는지 시각화한다. 데이터 재구성을 통해 TP 수준 변경을 지원하는 핵심 메커니즘을 보여준다.

기존 방식 대비 Nitsum의 KV 마이그레이션 지연 시간 비교. — Chart로그 스케일 차트를 통해 Nitsum의 커스텀 마이그레이션 커널이 표준 cudaMemcpyAsync 대비 수백 배 빠른 성능을 제공함을 증명한다.

Rust 기반의 글로벌 스케줄러가 1초마다 클러스터 상태를 분석하고, 각 SLO 티어별로 최적의 TP 수준과 GPU 할당을 결정하여 처리량을 최대화한다.

이미지 분석

#4Diagram
글로벌 스케줄러와 워커 노드 간의 상호작용을 보여준다. 공유 모델 가중치와 TP 인식 KV 캐시 구조를 통해 효율적인 자원 관리가 이루어짐을 설명한다.
Nitsum의 전체 시스템 아키텍처 다이어그램.

#9Chart
다양한 GPU와 모델 환경에서 Nitsum이 다른 서빙 시스템 대비 일관되게 높은 처리량을 유지함을 보여준다.
다양한 환경에서의 Nitsum 처리량(Goodput) 결과.

실무 Takeaway

TP 수준을 런타임에 동적으로 변경하면 다양한 SLO를 가진 요청을 단일 클러스터에서 효율적으로 처리할 수 있다.
TP 전환 시 발생하는 KV 캐시 마이그레이션 오버헤드를 줄이기 위해, 데이터를 연속된 버퍼로 모아 전송하는 파이프라인 기법이 필수적이다.
워크로드 변화에 맞춰 클러스터 구성을 실시간으로 재조정하는 스케줄링 정책을 통해 고정된 GPU 예산 내에서 처리량을 5배 이상 개선할 수 있다.

언급된 리소스

논문Nitsum: Serving Tiered LLM Requests with Adaptive Tensor Parallelism