Cold Cache
콜드 캐시
콜드 캐시는 이전에 동일하거나 유사한 프리픽스가 서버 캐시에 존재하지 않아 요청마다 완전한 처리 경로를 타는 상태를 의미한다. 캐시 미스 상황에서는 서버가 프롬프트 처리·토크나이즈·검색 결과 병합 등 모든 단계를 새로 수행하므로 초기 응답이 크게 지연될 수 있다. 에이전트 워크로드에서는 안정적인 시스템 프롬프트와 도구 호출이 캐시 히트를 만드는 핵심 요소이다.
콜드 캐시
콜드 캐시는 이전에 동일하거나 유사한 프리픽스가 서버 캐시에 존재하지 않아 요청마다 완전한 처리 경로를 타는 상태를 의미한다. 캐시 미스 상황에서는 서버가 프롬프트 처리·토크나이즈·검색 결과 병합 등 모든 단계를 새로 수행하므로 초기 응답이 크게 지연될 수 있다. 에이전트 워크로드에서는 안정적인 시스템 프롬프트와 도구 호출이 캐시 히트를 만드는 핵심 요소이다.
