골드피쉬 문제 해결: 프롬프트 캐싱을 최적화한 오픈소스 Claude 에이전트 Galadriel

실용적 조언

반복되는 CLAUDE.md 파일이나 시스템 프롬프트를 캐시 중단점으로 설정하여 비용을 아끼십시오
대화 이력 전체를 캐싱하기보다 벡터 DB를 병행하여 캐시 히트율을 높이십시오

섹션별 상세

프롬프트 캐싱 최적화를 통해 운영 비용을 기존 대비 1/10 수준으로 절감했다. 100달러가 소요되던 워크로드를 10달러로 처리할 수 있음을 OpenClaw 및 Cursor 워크플로와의 비교 테스트를 통해 확인했다. 이는 반복되는 시스템 프롬프트와 도구 정의를 효율적으로 캐싱한 결과이다.

100K 토큰 수준의 대규모 컨텍스트 처리 속도를 획기적으로 개선했다. 기존 11초가 소요되던 응답 지연 시간을 3초 미만으로 단축하여 약 85%의 성능 향상을 달성했다. 캐시 중단점(Breakpoint)을 전략적으로 배치하여 추론 엔진의 계산 부하를 최소화하는 방식을 사용한다.

도구 정의, 시스템 프롬프트, 대화 이력을 분리하여 관리하는 3단계 계층형 캐싱 스택을 구축했다. 각 계층마다 별도의 캐시 중단점을 설정하여 프롬프트의 일부가 변경되더라도 나머지 캐시된 데이터를 최대한 활용하도록 설계했다. 이를 통해 에이전트의 기억력을 유지하면서도 캐시 효율을 극대화한다.

영구적인 기억 보존을 위해 MemPalace라는 벡터 기반 회상 시스템을 통합했다. 벡터 검색을 통해 필요한 정보만 선별적으로 컨텍스트에 주입함으로써 전체 캐시 구조를 파괴하지 않고도 장기 기억을 구현했다. 이는 컨텍스트 윈도우를 가득 채우지 않고도 에이전트가 사용자의 과거 정보를 정확히 기억하게 돕는다.

용어 해설

프롬프트 캐싱(Prompt Caching): — LLM API 호출 시 반복되는 프롬프트 부분을 서버 측에 저장하여 재사용하는 기술이다. 동일한 컨텍스트를 매번 다시 계산하지 않으므로 추론 비용을 대폭 절감하고 첫 번째 토큰 생성 시간(TTFT)을 단축하는 데 핵심적인 역할을 한다.
컨텍스트 세금(Context Tax): — 대규모 언어 모델이 이전 대화 내용이나 긴 문서를 기억하기 위해 매 요청마다 방대한 양의 토큰을 입력으로 보내야 할 때 발생하는 비용과 지연 시간을 의미한다. 대화가 길어질수록 기하급수적으로 증가하는 운영 부담을 비유적으로 표현한 용어이다.
벡터 기반 회상(Vector-based Recall): — 데이터를 고차원 벡터로 변환하여 저장한 뒤 유사도 검색을 통해 필요한 정보를 찾아내는 방식이다. 캐시를 깨뜨리지 않으면서도 방대한 외부 지식이나 과거 기억을 모델의 컨텍스트에 효율적으로 주입할 수 있게 해준다.

언급된 도구

Galadriel추천링크

프롬프트 캐싱 최적화 및 에이전트 실행 프레임워크

MemPalace추천

벡터 기반의 영구 기억 저장소

언급된 리소스

GitHubGaladriel GitHub Repository