semantic-cache
시맨틱 캐시
질문의 의미적 유사성을 임베딩 벡터로 비교하여 이전의 답변을 재사용하는 기술이다. 단순 텍스트 일치가 아닌 의미가 유사한 경우에도 캐시를 적용하여 LLM 호출 비용을 50-90%까지 절감하고 응답 속도를 획기적으로 높인다.
중급
시맨틱 캐시
질문의 의미적 유사성을 임베딩 벡터로 비교하여 이전의 답변을 재사용하는 기술이다. 단순 텍스트 일치가 아닌 의미가 유사한 경우에도 캐시를 적용하여 LLM 호출 비용을 50-90%까지 절감하고 응답 속도를 획기적으로 높인다.