vLLM과 Ray를 활용한 대규모 LLM 배치 추론 확장 가이드

import ray

# S3에서 200만 건의 CSV 데이터 읽기
ds = ray.data.read_csv("s3://bucket/customer_records.csv")

# vLLM 프로세서 설정
from ray.data.llm import vLLMProcessorConfig

config = vLLMProcessorConfig(
    model="meta-llama/Llama-3.1-8B-Instruct",
    engine_args={"max_model_len": 1024},
    batch_size=128
)

# 전처리, 모델 추론, 후처리 파이프라인 실행
results = ds.map(preprocess_func) \
            .map_batches(vLLMProcessor, config=config) \
            .map(postprocess_func) \
            .materialize()