OpenAI Prompt Caching 실전 가이드: 비용과 지연 시간 최적화 전략

• •지연 시간 최대 80% 단축 및 입력 토큰 비용 최대 90% 절감
• •1024토큰 이상의 프롬프트에서 128토큰 단위로 캐싱 발생
• •별도의 코드 수정 없이 자동으로 작동하는 Implicit Caching 방식

캐시 적중을 위해서는 프롬프트의 시작 부분이 이전 요청과 완전히 동일해야 한다.

• •KV Cache는 모든 레이어와 헤드에 걸친 Key/Value 벡터를 저장
• •첫 256토큰 해시값을 기준으로 캐시 적중 여부와 엔진 라우팅 결정
• •캐시 적중 시 모델은 새로운 토큰에 대해서만 전체 Attention 연산 수행

Attention 메커니즘은 모델이 입력 시퀀스 내에서 서로 다른 단어의 중요도를 가중치로 계산하는 방식이다.

• •동일 접두사 요청을 특정 엔진으로 유도하여 캐시 적중률 극대화
• •사용자별(Per-user) 또는 대화별(Per-conversation) 키 할당 전략 가능
• •엔진의 RPM 제한을 고려한 적절한 수준의 키 세분화 필요

엔진 하나당 분당 약 15개의 요청(RPM)을 처리할 수 있는 제한이 있음을 고려해야 한다.

• •자주 조금씩 자르는 방식보다 가끔 크게 자르는 방식이 캐시 유지에 유리
• •서버 사이드 압축 도구를 사용하여 문맥 임계값 도달 시 자동 요약 수행
• •Realtime API에서 retention_ratio 설정을 통해 세션 비용 70% 절감 가능

문맥 엔지니어링은 모델이 보는 내용을 동적으로 형성하는 것이고, 캐싱은 내용을 정적으로 유지하는 것이라 서로 상충하는 면이 있다.

response = client.chat.completions.create(
    model="gpt-4o",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Hello!"}
    ],
    prompt_cache_key="user_123_session_abc"
)

• •추론 모델 사용 시 Responses API 필수 사용 권장
• •allowed_tools 파라미터로 도구 구성을 동적으로 조정하며 캐시 유지
• •Flex Processing tier를 통해 배치 작업의 비용 효율성 증대

Chain-of-Thought 토큰은 모델이 추론 과정에서 생성하는 중간 단계의 사고 과정이다.

• •프롬프트 구조를 스태틱(Static)과 다이내믹(Dynamic)으로 명확히 분리
• •시스템 프롬프트에서 동적 콘텐츠를 제거하여 글로벌 캐시 공유 극대화
• •캐시 적중을 위해 대화 중간의 메시지를 수정하는 대신 끝에 새 메시지 추가

에이전트 루프는 모델이 도구를 호출하고 결과를 받아 다시 판단하는 반복적인 과정을 의미한다.

response = client.with_options(timeout=900.0).responses.create(
    model="o1",
    instructions="List and describe all the metaphors used in this book.",
    input="<very long text of book here>",
    service_tier="flex"
)

{
  "model": "gpt-5.1",
  "input": "Your prompt goes here...",
  "prompt_cache_retention": "24h"
}