프로덕션 환경에서의 고성능 LLM 추론 최적화 가이드

• •Offline: 처리량(Throughput) 극대화가 목표이며 vLLM 같은 엔진이 유리하다
• •Online: 지연시간(Latency) 최소화가 목표이며 Speculative Decoding이 효과적이다
• •Semi-online: 가변적인 부하에 대응하기 위한 빠른 오토스케일링이 필수적이다

워크로드 유형에 따라 최적화해야 할 핵심 지표(KPI)가 달라지므로 이를 먼저 정의하는 것이 설계의 시작이다.

• •드래프트 모델의 추측 성공률이 높을수록 전체 추론 속도가 빨라진다
• •GLM-5와 같은 최신 모델은 멀티 토큰 예측 헤드를 내장하여 이 기능을 지원한다
• •DFlash와 같은 확산 모델 기반의 드래프트 모델을 통해 성능을 더욱 개선할 수 있다

Speculative Decoding은 모델의 출력 품질을 희생하지 않으면서도 추론 속도만 높일 수 있는 강력한 기법이다.

• •모델 가중치 로딩 시간을 10배 이상 단축하여 콜드 스타트 문제를 완화한다
• •Modal Volumes를 통해 기가바이트 단위의 데이터를 초당 수 GB 속도로 전송한다
• •엔진 초기화 과정을 건너뛰어 즉각적인 요청 처리가 가능하다

GPU Snapshot은 실행 중인 프로세스의 메모리와 GPU 상태를 덤프하여 나중에 즉시 재개할 수 있게 하는 기술이다.

• •SGLang 엔진을 활용하여 OpenAI 호환 API 서버를 구축했다
• •FP8 양자화를 적용하여 H100 GPU에서 최적의 성능을 발휘하도록 설정했다
• •OpenCode와 같은 에이전틱 코딩 도구와의 통합 예시를 포함한다

GLM-5는 중국 Zhipu AI에서 개발한 강력한 성능의 오픈소스 LLM 시리즈 중 하나이다.