Prefill-as-a-Service: 차세대 모델의 KV 캐시를 활용한 데이터 센터 간 협업

대규모 추론 인프라를 운영하는 개발자들 사이에서 하드웨어 비대칭성을 해결할 수 있는 실질적인 아키텍처로 주목받고 있습니다.

• 긴 컨텍스트 처리가 잦은 서비스라면 Prefill 전용 클러스터를 구축하여 TTFT를 개선하는 방안을 검토해야 한다.
• 하드웨어 도입 시 Prefill용(연산 중심)과 Decode용(대역폭 중심) 가속기를 구분하여 구매함으로써 비용 대비 성능을 최적화할 수 있다.

Prefill-Decode 분리(PD Disaggregation)

— LLM 추론의 두 단계인 Prefill(입력 처리)과 Decode(출력 생성)를 물리적으로 분리된 컴퓨팅 자원에서 실행하는 아키텍처이다. 연산 집약적인 Prefill과 메모리 대역폭 집약적인 Decode를 각각 최적화된 하드웨어에 할당하여 전체 시스템 효율을 극대화한다.

KV 캐시(KV Cache)

— Transformer 모델 추론 시 이전 토큰들의 Key와 Value 행렬을 저장해두는 기술이다. 매번 처음부터 다시 계산하는 낭비를 줄여 생성 속도를 높이지만, 컨텍스트가 길어질수록 메모리 점유율과 전송 비용이 급격히 증가하는 특성이 있다.

첫 토큰 생성 시간(TTFT)

— 사용자의 요청 후 첫 번째 토큰이 출력될 때까지 걸리는 지연 시간(Time To First Token)이다. LLM 서비스의 사용자 경험을 결정하는 핵심 지표로, 주로 Prefill 단계의 연산 속도와 데이터 전송 효율에 의해 결정된다.

원격 직접 메모리 접근(RDMA)

— CPU의 개입 없이 네트워크를 통해 다른 컴퓨터의 메모리에 직접 접근하는 기술이다. 초저지연과 고대역폭을 제공하여 기존에는 KV 캐시 전송을 위해 필수적이었으나, 본문에서는 일반 Ethernet으로 이를 대체하는 방안을 다룬다.