본문으로 건너뛰기

Radix Prefix Caching

Radix Prefix 캐싱

여러 요청이 공유하는 프롬프트 앞부분을 트리 구조로 저장해 동일한 토큰의 계산 결과를 재사용하는 기법입니다. 긴 시스템 프롬프트나 여러 coding-agent 세션처럼 공통 prefix가 많은 작업에서 프리필 계산을 줄입니다.