Prefix-Aware Routing
Prefix 인지 라우팅
요청의 앞부분인 prefix를 이미 캐시한 서버로 새 요청을 보내는 라우팅 방식입니다. 기존 서버의 중간 계산 결과를 재사용하므로 긴 문맥을 처음부터 다시 처리하는 prefill 비용과 첫 토큰까지의 지연을 줄입니다.
Prefix 인지 라우팅
요청의 앞부분인 prefix를 이미 캐시한 서버로 새 요청을 보내는 라우팅 방식입니다. 기존 서버의 중간 계산 결과를 재사용하므로 긴 문맥을 처음부터 다시 처리하는 prefill 비용과 첫 토큰까지의 지연을 줄입니다.
