Cursor용 Cache Timer 확장 프로그램: LLM 프롬프트 캐시 TTL 추적 도구

섹션별 상세

LLM 프롬프트 캐시는 일정 시간 활동이 없으면 만료되어 비용과 지연 문제가 발생한다. 캐시가 만료되면 다음 요청 시 전체 컨텍스트를 다시 토큰화해야 하므로 자원 낭비가 심하다. 이 확장 프로그램은 이러한 만료 시간을 실시간으로 추적하여 사용자에게 가시성을 제공한다. 효율적인 컨텍스트 관리를 통해 개발 흐름의 단절을 방지한다.

Cursor의 에이전트 트랜스크립트 파일과 폴더의 변경 사항을 감시하는 방식으로 작동한다. 새로운 어시스턴트 응답이 감지되면 타이머가 자동으로 초기화되어 최신 상태를 유지한다. 별도의 API 호출 없이 로컬 파일 시스템 감시만으로 정확한 캐시 상태를 파악한다. 시스템 자원 소모를 최소화하면서도 실시간성을 확보한다.

상태 표시줄과 사이드바 패널에 각 채팅 세션별 남은 시간을 초 단위로 표시한다. 시간 경과에 따라 녹색, 황색, 적색으로 색상을 변경하여 사용자에게 직관적인 긴급도를 전달한다. 사이드바의 카드형 인터페이스를 통해 여러 채팅의 캐시 상태를 한눈에 관리할 수 있다. 복잡한 멀티태스킹 환경에서도 캐시 효율을 극대화한다.

Cache Timer 확장 프로그램의 사이드바 패널, 알림창, 상태 표시줄 인터페이스를 보여주는 스크린샷이다. — Screenshot이미지의 1번 영역은 사이드바의 채팅 목록과 타이머, 2번은 만료 30초 전 알림, 3번은 하단 상태 표시줄의 개별 채팅 타이머를 나타낸다. 이를 통해 사용자가 에디터 내에서 캐시 상태를 어떻게 다각도로 모니터링할 수 있는지 직관적으로 보여준다.

'Cache Keep' 기능은 캐시 만료 직전에 사용자에게 알림을 보내 유지 메시지 전송을 유도한다. 사용자는 토글을 통해 개별 채팅별로 이 기능을 활성화하거나 비활성화할 수 있다. 기본 설정 시 만료 30초 전에 경고 알림이 발생하며 만료 시 에러 알림이 표시된다. 의도치 않은 캐시 만료로 인한 작업 지연을 사전에 차단한다.

사용자는 확장 프로그램 설정을 통해 TTL과 유지 기간을 자유롭게 조정할 수 있다. cacheTimer.ttlSeconds의 기본값은 280초이며 프로젝트 요구사항에 따라 변경 가능하다. cacheTimer.cacheKeepDurationSeconds를 통해 유지 세션의 길이도 정의할 수 있다. 개별 개발 환경과 LLM 모델의 특성에 최적화된 캐시 전략 수립이 가능하다.

json

{
  "cacheTimer.ttlSeconds": 280,
  "cacheTimer.cacheKeepDurationSeconds": 1800
}

확장 프로그램의 기본 캐시 TTL 및 유지 세션 기간 설정 예시

용어 해설

프롬프트 캐싱(Prompt Caching): — LLM 요청 시 반복되는 프롬프트 부분을 서버에 저장해 두어 재사용함으로써 비용과 지연 시간을 줄이는 기술이다. 동일한 컨텍스트를 반복해서 보낼 때 매번 토큰을 새로 계산하지 않아도 되므로 효율적이다.
수명 시간(TTL): — Time-To-Live의 약자로 데이터나 캐시가 유효하게 유지되는 시간을 의미한다. 이 시간이 지나면 캐시는 자동으로 삭제되거나 무효화되어 다시 생성해야 한다.
VSIX 패키지(VSIX): — VS Code나 Cursor와 같은 에디터에서 확장 프로그램을 설치하기 위해 사용되는 압축 파일 형식이다. 마켓플레이스를 통하지 않고 로컬에서 직접 확장 프로그램을 설치할 때 사용한다.
유지 신호(Keep-Alive): — 연결이나 상태를 계속 유지하기 위해 주기적으로 보내는 신호나 메시지이다. 이 확장 프로그램에서는 캐시 만료를 막기 위해 사용자에게 추가 메시지 전송을 유도하는 동작을 의미한다.

코드 예제

bash

cursor --install-extension cache-timer-extension-0.0.1.vsix

VSIX 파일을 사용하여 Cursor 에디터에 확장 프로그램을 직접 설치하는 명령 예시

기술

Cursor
VS Code
LLM
JavaScript

활용 사례

긴 코드 베이스를 다루는 채팅 세션
RAG 기반의 복잡한 질의응답
반복적인 시스템 프롬프트 재사용

언급된 리소스

GitHubCache Timer Extension GitHub