kv-aware-routing
KV 캐시 인지 라우팅
요청의 프롬프트가 이전에 처리된 KV 캐시 블록을 포함하고 있는지 확인하여 해당 캐시를 보유한 워커로 요청을 전달하는 기술이다. 중복되는 프롬프트 계산을 생략함으로써 첫 번째 토큰 생성 시간(TTFT)을 획기적으로 단축시킨다.
중급
KV 캐시 인지 라우팅
요청의 프롬프트가 이전에 처리된 KV 캐시 블록을 포함하고 있는지 확인하여 해당 캐시를 보유한 워커로 요청을 전달하는 기술이다. 중복되는 프롬프트 계산을 생략함으로써 첫 번째 토큰 생성 시간(TTFT)을 획기적으로 단축시킨다.