Databricks, 오픈소스 모델에 프롬프트 캐싱 지원 시작

섹션별 상세

LLM 추론 시 반복되는 프롬프트 접두사를 매번 처리하는 것은 컴퓨팅 자원 낭비와 지연의 원인이다.

프롬프트 캐싱은 동일한 접두사를 해시 키로 저장하고 이후 요청에서 캐시를 조회하여 토큰 계산 과정을 생략한다.

Databricks는 GPT-OSS, Gemma 3, Llama 3.1/3.3 등 주요 오픈소스 모델에 이 기능을 자동 적용했다.

실제 프로덕션 환경에서 30%의 캐시 적중률만으로도 처리량 2.5배 증가와 지연 시간 3배 감소라는 성능 개선을 확인했다.

근거

GPT-OSS 모델 적용 결과, 입력 토큰 처리량이 2.5배 증가하고 P50 지연 시간이 3배 감소했다. — Real-World Impact: batch inference on GPT OSS 섹션

보안을 위해 캐시는 휘발성 메모리에만 격리 저장되며 영구 저장되지 않는다.