CONVERA: 반복 작업을 재사용 가능한 상태로 처리하는 실험적 로컬 LLM 추론 런타임

섹션별 상세

전통적인 추론 방식이 동일하거나 유사한 프롬프트에 대해 연산을 반복하는 비효율을 해결하고자 합니다. CONVERA는 로컬 재사용 가능 상태 레이어를 유지하여 이전 실행에서 생성된 런타임 아티팩트를 저장하고 다음 요청 시 이를 즉시 활용합니다.

프롬프트 수준의 KV 캐시 지속성과 로컬 토큰 그래프 조회를 통해 연산량을 줄입니다. 동일한 프롬프트 서사가 입력될 경우 캐시된 KV 값을 불러와 토큰 생성 속도를 높이고 초기 지연 시간을 최소화합니다.

근거

convera_store_lite라는 고정 크기의 중복 제거 텐서 저장소를 구현하여 효율적인 데이터 관리를 수행합니다. 텐서 데이터를 주소 지정이 가능한 방식으로 저장하여 저장 공간 낭비를 줄이고 로딩 속도를 최적화합니다.

벤치마크 결과 반복되는 프롬프트에 대해 캐시 미적용 시 120ms였던 지연 시간이 캐시 적용 시 40ms로 약 66% 감소함을 확인했습니다. 시스템은 KV 히트율, 청크 재사용 비율, 디스크 사용량 등을 측정하여 성능 개선 지표를 투명하게 제공합니다.

근거

반복 프롬프트 실행 시 지연 시간이 120ms에서 40ms로 감소했다. — Example output 섹션의 Run 1(Cached: False) vs Run 2(Cached: True) 비교 수치