TL;DR
Cloudflare는 1조 개 이상의 파라미터를 가진 Kimi K2.5와 같은 초대형 언어 모델(VLLM)을 효율적으로 서비스하기 위한 기술적 기반을 공개했다. 추론 과정을 프리필과 디코드 단계로 분리하여 하드웨어 효율을 높이고, 독자적인 Rust 기반 추론 엔진인 Infire를 통해 메모리 오버헤드를 최소화했다. 특히 Mooncake 전송 엔진을 도입해 여러 GPU 노드 간 KV 캐시를 공유함으로써 에이전트 환경에서 빈번한 긴 문맥 처리를 최적화했다. 이러한 최적화를 통해 p90 토큰 간 지연 시간을 기존 대비 3배 단축하고 하드웨어 처리량을 최대 20% 개선했다.
배경
LLM 추론의 Prefill 및 Decode 단계에 대한 이해, KV Cache 및 프롬프트 캐싱의 개념, GPU 메모리 구조 및 병렬 처리(Tensor/Pipeline Parallelism) 기초 지식
대상 독자
대규모 LLM 인프라를 운영하거나 에이전트 기반 서비스를 구축하는 백엔드 및 AI 엔지니어
의미 / 영향
Cloudflare가 초대형 모델 추론 효율을 극대화함에 따라, 개발자들은 고가의 전용 인프라 구축 없이도 Workers AI를 통해 1조 파라미터급 모델을 저지연·저비용으로 활용할 수 있게 됩니다. 이는 특히 긴 문맥 유지가 필수적인 복잡한 AI 에이전트 시장의 진입 장벽을 낮추는 효과를 가져올 것입니다.
섹션별 상세
- p90 토큰 간 지연 시간이 약 100ms에서 20-30ms로 개선되어 3배의 성능 향상을 보였다. — Prefill decode (PD) disaggregation 섹션의 그래프 설명 및 수치
- 내부 사용자들의 입력 토큰 캐시 히트율이 피크 시간대 기준 60%에서 80%로 증가했다. — Prompt Caching 섹션의 마지막 문단
- Infire는 Kimi K2.5를 8개의 H100 GPU에서 실행하면서도 30GiB 이상의 KV 캐시용 VRAM을 확보한다. — Even lower memory overhead 섹션
용어 해설
- Prefill-Decode Disaggregation
- — LLM 추론의 두 단계인 입력 처리(Prefill)와 토큰 생성(Decode)을 서로 다른 서버에서 실행하는 기술이다. 프리필은 연산 중심이고 디코드는 메모리 대역폭 중심이라는 특성을 활용해 하드웨어 자원 효율을 극대화하고 지연 시간을 단축한다.
- KV Cache
- — LLM 추론 과정에서 이전 토큰들의 Key와 Value 행렬을 저장해두는 메모리 영역이다. 매번 전체 문맥을 다시 계산하지 않고 저장된 값을 재사용함으로써 추론 속도를 높이고 연산 비용을 절감하는 핵심 메커니즘이다.
- Speculative Decoding
- — 작고 빠른 초안 모델이 여러 토큰을 먼저 예측하고 큰 타겟 모델이 이를 한 번에 검증하는 기법이다. 타겟 모델의 품질을 유지하면서도 한 번의 연산으로 여러 토큰을 확정할 수 있어 전체적인 생성 속도가 크게 향상된다.
- RDMA
- — CPU를 거치지 않고 네트워크를 통해 한 컴퓨터의 메모리에서 다른 컴퓨터의 메모리로 데이터를 직접 전송하는 기술이다. 대규모 모델을 여러 GPU 노드에 분산 배치할 때 데이터 전송 지연을 최소화하는 데 필수적이다.
언급된 리소스
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.