Radix Tree

토큰 시퀀스의 공통 prefix를 하나의 경로로 공유하는 압축 trie 자료구조입니다. 요청마다 토큰이 달라지는 지점에서만 가지를 만들기 때문에 동일한 시스템 프롬프트나 대화 이력에 연결된 KV 캐시를 중복 저장하지 않고 검색할 수 있습니다.