본문으로 건너뛰기

Prompt-cache Read

프롬프트 캐시 읽기

이전에 처리한 프롬프트 토큰을 캐시에서 다시 읽어 새로 처리하는 비용을 줄이는 경로다. 원문 데이터에서는 캐시 읽기 토큰과 신규 처리 토큰을 분리해야 실제 비용 구조를 제대로 계산할 수 있다는 점이 핵심으로 나타났다.