Amazon SageMaker 및 Bedrock에서 vLLM을 활용한 효율적인 Multi-LoRA MoE 모델 서빙 최적화

섹션별 상세

01

MoE 모델은 각 전문가(Expert) 네트워크가 gate_up 확장과 down 압축의 2단계 투영 과정을 거치며, LoRA 적용 시 각 단계에 shrink와 expand 연산이 추가되어 총 4개의 커널 연산이 발생한다.

MoE 레이어 내에서 LoRA 어댑터가 통합되는 구조를 보여주는 아키텍처 다이어그램이다. — Diagram라우터가 토큰을 전문가에게 전달하는 과정과 각 전문가 내부의 gate_up/down 투영 단계에 LoRA의 shrink/expand 연산이 어떻게 추가되는지 시각화한다. 이를 통해 MoE와 LoRA가 결합될 때 발생하는 연산 복잡성을 이해할 수 있다.

02

초기 구현에서는 Triton 컴파일러가 입력 길이에 의존하는 변수를 상수로 취급하여 매번 커널을 재컴파일하는 오버헤드가 발생했으나, do_not_specialize 힌트를 적용하여 커널 재사용을 가능케 함으로써 TTFT를 대폭 개선했다.

03

LoRA 연산의 특성인 'Skinny Matrix' 문제를 해결하기 위해 Split-K 전략을 도입하여 내부 차원의 합산 작업을 여러 스레드 그룹에 분산 배치하고 병렬 처리 성능을 극대화했다.

최적화 전 fused_moe_lora 커널의 Nsys 프로파일링 결과로 재컴파일 지연 시간을 나타낸다. — ScreenshotcuModuleLoadData 호출로 인해 발생하는 약 0.5초의 실행 지연을 명확히 보여준다. 이는 Triton 컴파일러의 특수화 기능으로 인해 매번 새로운 커널이 로드되면서 발생하는 성능 병목을 증명한다.

04

CTA swizzling 기법을 적용하여 인접한 열을 처리하는 스레드 그룹들이 동시에 실행되도록 조정함으로써 L2 캐시 재사용률을 높이고 메모리 대역폭 효율을 최적화했다.

05

Amazon SageMaker AI 및 Bedrock 환경에 최적화된 블록 사이즈와 파라미터 설정을 자동으로 로드하는 기능을 추가하여 기본 설정 대비 OTPS를 19% 추가 향상시켰다.

GPT-OSS 20B 모델의 Multi-LoRA 추론 성능(OTPS 및 TTFT) 비교 차트이다. — Chart초기 구현 대비 vLLM 0.15.0 및 AWS 커스텀 튜닝 적용 시 OTPS는 약 5.5배 증가하고 TTFT는 8배 이상 감소했음을 수치로 나타낸다. 최적화 기법들이 실제 추론 효율성에 미치는 영향력을 입증한다.

06

Programmatic Dependent Launch(PDL)를 구현하여 shrink 커널이 실행되는 동안 expand 커널이 가중치를 미리 로드할 수 있도록 연산을 오버랩하여 실행 지연을 최소화했다.

용어 해설

전문가 혼합 모델(Mixture of Experts): — 모델의 전체 파라미터 중 일부만 활성화하여 연산 효율을 높이는 아키텍처이다. 라우터가 입력 토큰을 가장 적합한 전문가(Expert) 네트워크로 전달하며, 적은 자원으로 대규모 모델의 성능을 유지할 수 있게 한다.
저순위 적응(LoRA): — 기존 모델의 가중치를 고정한 채 일부 레이어에 작은 크기의 행렬(어댑터)을 추가하여 미세 조정하는 기법이다. 학습 파라미터 수를 획기적으로 줄이면서도 특정 작업에 최적화된 성능을 낼 수 있다.
스플릿-K(Split-K): — 행렬 곱셈 연산에서 결과값 하나를 도출하기 위한 합산 과정을 여러 스레드 그룹으로 나누어 병렬 처리하는 기법이다. 행렬의 한쪽 차원이 매우 작은 경우에도 GPU의 병렬성을 극대화하여 연산 속도를 높인다.
CTA 스위즐링(CTA Swizzling): — GPU 스레드 블록(CTA)의 실행 순서를 재배치하여 데이터 지역성을 개선하는 기술이다. 인접한 메모리 영역을 참조하는 블록들을 동시에 실행함으로써 L2 캐시 재사용률을 높이고 메모리 대역폭 병목을 해소한다.
트라이톤(Triton): — OpenAI에서 개발한 GPU 프로그래밍 언어 및 컴파일러로, CUDA보다 높은 생산성으로 고성능 커널을 작성할 수 있게 돕는다. 딥러닝 모델의 특정 연산을 최적화된 하드웨어 명령어로 변환하는 데 널리 사용된다.

기술

vLLM
Amazon SageMaker AI
Amazon Bedrock
Triton
NVIDIA Nsight Systems
GPT-OSS 20B

활용 사례

다중 사용자 맞춤형 챗봇 서빙
비용 효율적인 MoE 모델 추론
SageMaker 기반 대규모 모델 호스팅

언급된 리소스

GitHubvLLM GitHub Repository

문서vLLM LoRA Tuning Documentation