캐싱 레이어
자주 사용되는 데이터나 프롬프트 맥락을 임시 저장소에 보관하여 반복적인 연산을 줄이는 기술이다. LLM에서는 동일한 시스템 프롬프트나 코드 베이스를 재사용할 때 토큰 소모량을 획기적으로 줄여 비용을 절감하는 역할을 한다.