Arctic Inference: LLM 서빙의 속도와 비용 트레이드오프 해결

• •반응성(TTFT), 생성 속도, 비용 효율성(Throughput)이 서빙의 3대 핵심 지표이다.
• •기존 시스템은 지연 시간과 처리량 사이에서 하나를 선택해야 하는 한계가 있었다.
• •Arctic Inference는 세 지표 모두에서 최적의 성능을 내는 통합 엔진을 지향한다.

• •Tensor Parallel은 지연 시간에 유리하지만 처리량 측면에서 비효율적이다.
• •Data Parallel은 처리량은 높지만 개별 요청의 응답 속도가 느리다.
• •실제 서비스 트래픽은 가변적이어서 고정된 병렬화 전략은 비효율을 초래한다.

• •트래픽 밀도에 따라 Tensor Parallel과 Sequence Parallel 모드를 실시간 전환한다.
• •KV Cache 레이아웃의 호환성을 활용해 전환 오버헤드를 제거했다.
• •낮은 지연 시간과 높은 처리량을 동시에 달성하는 유연한 인프라를 구축했다.

Ulysses는 DeepSpeed에서 제안한 Sequence Parallelism 기법 중 하나로, 통신 효율성이 높은 것이 특징이다.

• •LLM의 Hidden State를 활용하는 경량 LSTM 예측기를 설계했다.
• •한 번의 메인 모델 연산으로 여러 토큰을 검증하여 생성 속도를 높였다.
• •모델의 출력 품질을 전혀 손상시키지 않으면서 추론 성능만 개선했다.

• •반복되는 텍스트 패턴을 Suffix Tree 구조로 캐싱하여 예측에 활용한다.
• •한 번에 수십 개 이상의 토큰을 제안하여 Speculative Decoding의 효율을 극대화했다.
• •에이전트 및 코드 편집 워크로드에서 2.4배에서 4배의 속도 향상을 달성했다.

• •입력 토큰 처리 시 레이어 일부를 건너뛰는 Early Exit 기법을 적용했다.
• •Knowledge Distillation을 통해 모델의 성능 저하 문제를 해결했다.
• •배치 워크로드에서 처리량을 2배 향상시켜 비용 효율성을 확보했다.

• •Arctic Inference 기술을 vLLM 플러그인으로 제공하여 접근성을 높였다.
• •환경 변수 설정만으로 고도화된 병렬화 및 디코딩 기능을 사용할 수 있다.
• •다양한 추론 엔진과의 통합을 통해 오픈소스 생태계 기여를 확대하고 있다.

pip install arctic-inference-vllm

ARCTIC_INFERENCE_ENABLED=1 python -m vllm.entrypoints.openai.api_server \
    --model snowflake/arctic-llama-3.1-8b-instruct \
    --tensor-parallel-size 2 \
    --enable-shift-parallel \
    --speculative-config '{
        "model": "snowflake/arctic-llama-3.1-8b-instruct",
        "speculator": "arctic-speculator-v1",
        "enable_suffix_decoding": true,
        "enable_lstm_speculator": true
    }'