Anthropic의 프롬프트 캐싱: LLM API 비용과 지연 시간 획기적 절감

섹션별 상세

기존 LLM API는 요청마다 동일한 시스템 프롬프트나 컨텍스트를 매번 다시 토큰화하고 처리해야 하므로 비용과 지연 시간이 누적되는 문제가 있었다.

프롬프트 캐싱은 자주 사용되는 프롬프트 접두사(prefix)를 캐시에 저장하고, 이후 요청에서 이를 재사용하여 토큰 처리 과정을 건너뛴다.

이 방식은 모델이 입력 전체를 다시 계산하지 않고 캐시된 KV 캐시를 활용하므로, 특히 긴 컨텍스트를 반복적으로 사용하는 작업에서 즉각적인 성능 향상을 보인다.

공개된 벤치마크와 사례에 따르면, 이 기술을 적용할 경우 API 호출 비용을 최대 90%까지 줄이고 지연 시간을 획기적으로 단축할 수 있다.

KV 캐시(KV Cache): — LLM 추론 시 이전 토큰들의 연산 결과를 저장하는 메모리 공간. 이를 재사용하면 전체 연산량을 줄여 추론 속도를 높일 수 있다.
토큰화(Tokenization): — 텍스트를 모델이 이해할 수 있는 단위인 토큰으로 변환하는 과정. 프롬프트 캐싱은 이 과정을 반복하지 않게 하여 효율을 높인다.