lru-cache

가장 최근에 사용되지 않은 항목부터 제거하는 방식의 메모리 관리 알고리즘이다. 동일한 프롬프트에 대한 LLM 응답을 메모리에 저장해 두었다가 재사용함으로써 API 호출 횟수를 줄이고 응답 속도를 높이는 데 기여한다.