CONVERA: 반복 작업을 재사용 가능한 상태로 처리하는 실험적 로컬 LLM 추론 런타임

CONVERA는 추론 시 발생하는 반복적인 작업을 재사용 가능한 상태(State)로 취급하여 효율을 높이는 실험적인 로컬 런타임입니다. 기존 추론 방식이 유사한 작업을 매번 새로 실행하는 것과 달리, 이 시스템은 프롬프트 수준의 KV 캐시 지속성, 로컬 토큰 그래프 재사용, 중복 제거된 텐서 저장소인 convera_store_lite를 통해 실행 아티팩트를 보존합니다. 공개된 오픈소스 버전(CONVERA-OSS)은 Hugging Face 모델 로딩과 CUDA, MPS, CPU 등 다양한 백엔드를 지원하며 로컬 대시보드를 통한 벤치마크 시각화 기능을 제공합니다. 이를 통해 반복 프롬프트 발생 시 지연 시간을 120ms에서 40ms 수준으로 대폭 절감할 수 있음을 입증했습니다.