시스템 프롬프트 캐싱
반복적으로 사용되는 시스템 프롬프트의 일부를 서버 측에 저장하여 재사용하는 기술이다. 동일한 프롬프트 섹션에 대해 토큰 처리 비용을 절감하고 응답 지연 시간을 단축하는 효과가 있다.
