골드피쉬 문제 해결: 프롬프트 캐싱을 최적화한 오픈소스 Claude 에이전트 Galadriel

작성자가 직접 테스트한 수치와 오픈소스 코드를 공개하여 긍정적인 반응을 얻고 있으며, 특히 비용 절감 효과에 대한 관심이 높다.

• 반복되는 CLAUDE.md 파일이나 시스템 프롬프트를 캐시 중단점으로 설정하여 비용을 아끼십시오
• 대화 이력 전체를 캐싱하기보다 벡터 DB를 병행하여 캐시 히트율을 높이십시오

Prompt Caching

— LLM API 호출 시 반복되는 프롬프트 부분을 서버 측에 저장하여 재사용하는 기술이다. 동일한 컨텍스트를 매번 다시 계산하지 않으므로 추론 비용을 대폭 절감하고 첫 번째 토큰 생성 시간(TTFT)을 단축하는 데 핵심적인 역할을 한다.

Context Tax

— 대규모 언어 모델이 이전 대화 내용이나 긴 문서를 기억하기 위해 매 요청마다 방대한 양의 토큰을 입력으로 보내야 할 때 발생하는 비용과 지연 시간을 의미한다. 대화가 길어질수록 기하급수적으로 증가하는 운영 부담을 비유적으로 표현한 용어이다.

Vector-based Recall

— 데이터를 고차원 벡터로 변환하여 저장한 뒤 유사도 검색을 통해 필요한 정보를 찾아내는 방식이다. 캐시를 깨뜨리지 않으면서도 방대한 외부 지식이나 과거 기억을 모델의 컨텍스트에 효율적으로 주입할 수 있게 해준다.