GPT-5.6에서 RTK와 Headroom이 '토큰 절감'과 실제 비용 사이에 차이를 만드는 이유

작성자는 이전 Anthropic 조사와 유사한 결론을 제시하며 GPT-5.6의 신규 과금 정책이 토큰 절감 지표의 해석을 어렵게 만든다는 우려를 제기했고 벤치마크 결과를 근거로 보수적 관점을 유지한다. 벤치마크 수치와 구체적 요율(캐시 쓰기 125%, 캐시 읽기 10%)을 인용해 실사용 시나리오와 측정 방법의 중요성을 강조했고 공급자 측 회계 기준과 도구의 가정 불일치가 문제 요인으로 확인됐다. 이 글은 도구 선택 전 직접적인 비용 측정을 권하고 있어 실무자 관점에서 신중한 반응을 유도할 가능성이 크다.

• 비용 절감 효과를 검증하려면 단일 지표 대신 작업 성공당 실제 비용을 측정해야 한다는 점을 최우선으로 삼아야 한다. 이를 위해 캐시 쓰기 횟수와 캐시 읽기 횟수, 비캐시 입력량, 모델 출력량, 추론 회수 및 재시도, 검색 빈도를 포함한 전후 비교 쌍대 실험을 설계해야 한다. 실험은 동일한 요청 워크플로에서 도구 유무만 바꿔 실행하고 청구서 기반의 비용 변화를 기록해야 유효한 결론을 얻을 수 있다.
• 압축 도구를 적용할 때는 결정론적 알고리즘과 명시적 브레이크포인트를 우선적으로 활용해야 한다. 결정론적 압축은 동일한 입력에 대해 항상 동일한 출력이 나와 캐시 적중률을 높이고 재사용을 가능하게 하며, 명시적 브레이크포인트를 통해 도구가 안전하게 캐시 경계를 식별하여 불필요한 캐시 무효화를 방지할 수 있다. 또한 신규 툴 출력에 대한 사전 압축과 GPT-5.6의 272K 장기 컨텍스트 임계값을 넘지 않도록 설계하면 비용상의 이득을 얻을 가능성이 커진다.
• 서드파티 대시보드나 도구의 자체 보고 수치를 그대로 신뢰해서는 안 된다. 도구가 공급자의 내부 캐시 상태를 보지 못하거나 과금 가정을 예전 기준으로 유지하면 잘못된 절감 전망이 만들어지므로, 도구가 GPT-5.6의 명시적 브레이크포인트 필드와 캐시 회계 변화를 지원하는지 코드를 확인하고 자체 쌍대 벤치마크를 실행해 실청구 대비 효과를 검증해야 한다.

Cache Write Premium

— GPT-5.6 환경에서 캐시에 새로 쓰기를 할 때 기본 입력 토큰 비용보다 더 높은 요율(본문 기준 125%)을 적용하는 과금 구조로서, 캐시로 한 번 기록된 데이터의 변경이 전체 비용에 크게 영향을 미치기 때문에 캐시 쓰기 발생 여부와 그 범위가 비용 최적화의 핵심 변수가 된다.

Cache Read

— 모델 요청 시 캐시에서 기존에 저장된 프롬프트/출력을 재사용할 때 발생하는 읽기 작업으로서 GPT-5.6에서는 읽기 비용이 상대적으로 낮게(본문 기준 10%) 책정되어 동일 컨텐츠 재사용이 비용 절감에 결정적 역할을 한다.

Prompt Cache Key

— 요청을 캐시와 매핑하기 위해 클라이언트가 삽입하는 식별자 필드로서, 일관된 키는 요청 라우팅을 안정화하지만 내부적으로 어떤 프리픽스가 일치하는지는 반영하지 못해 비용 산정과 캐시 적중 판단의 한계가 된다.

Rehydration

— 압축된(tool-compressed) 콘텐츠가 이후 모델의 검색 과정에서 원본 전체로 복원되어 다시 사용되는 상황을 의미하며, 이 경우 압축·추출·추가 모델 호출 비용이 모두 발생해 초기 절감 효과가 상쇄될 위험이 크다.

Explicit Breakpoint

— 클라이언트가 요청에 삽입해 캐시 경계를 명확히 표시하는 필드로서 캐시 재사용 가능 구간을 정확히 지정하면 도구가 변경된 부분만 압축해 캐시 효율을 높일 수 있다.