Claude Code의 토큰 쿼터 급증과 캐시 미스 보험 제거 분석

커뮤니티 반응

작성자의 분석에 대해 많은 사용자가 공감하며, 특히 피크 시간대의 무작위적인 쿼터 소진 경험이 이 가설을 뒷받침한다는 반응이다.

주요 논점

01찬성다수

Anthropic이 수익성 확보를 위해 구독자의 캐시 미스 비용 보전을 중단했다는 분석에 동의함

합의점 vs 논쟁점

합의점

현재 Claude Code의 쿼터 소진 방식은 예측 불가능하며 사용자에게 불리하게 작용하고 있다.
KV 캐싱의 물리적 특성상 서버 부하와 캐시 히트율은 밀접한 상관관계가 있다.

실용적 조언

피크 시간대를 피해 작업을 수행하면 캐시 히트 확률을 높여 쿼터 소진을 최소화할 수 있다.
Claude Code 2.1.92 이상의 버전을 사용하여 /cost 명령으로 자신의 캐시 히트율을 상시 모니터링해야 한다.

섹션별 상세

Anthropic이 Claude Code 전용 API 경로에서 캐시 미스 시 비용을 보전해주던 '캐시 미스 보험'을 폐지했다는 가설이다. 기존에는 서버 부하로 캐시를 사용하지 못해도 사용자에게 캐시 가격만 청구했으나, 현재는 재계산 비용 전체를 사용자 쿼터에서 차감하는 방식으로 변경됐다. 근거는 피크 시간대와 비피크 시간대 간의 극단적인 쿼터 소진 차이와 무작위적인 소진 현상이다. 이는 구독형 모델의 수익성을 개선하기 위해 보험 비용을 사용자에게 전가한 것으로 해석된다.

KV 캐싱의 물리적 한계가 사용자 경험의 불확실성을 초래한다. 모델이 프롬프트를 처리하고 출력 생성 직전의 내부 상태를 저장하는 KV 캐시는 수십에서 수백 GB에 달하며 특정 서버에 로컬로 저장된다. 입력된 파일이 많을수록 캐시 크기가 커지며, 해당 서버가 바쁘거나 재시작될 경우 다른 서버로 요청이 넘어가면서 캐시 미스가 발생한다. 이 과정에서 발생하는 대량의 재계산 비용이 고스란히 사용자의 5시간/주간 쿼터 차감으로 이어진다.

현재 관찰되는 '피크 시간'은 실제 트래픽 부하보다는 Anthropic이 설정한 가격 정책 전환 시점일 가능성이 높다. 특정 시간(GMT 7pm)을 기점으로 현상이 완화되는 것은 시스템이 '크론(cron)' 작업을 통해 정책을 온/오프하기 때문이라는 분석이다. 3월에 진행된 x2 프로모션 역시 사용자들의 오프피크 이동 가능성을 테스트하고 데이터를 수집하기 위한 전략적 실험으로 풀이된다.

Claude Code 2.1.92 버전 업데이트에서 비용 상세 내역이 추가된 것은 이러한 정책 변화의 방증이다. 사용자가 /cost 명령을 통해 모델별, 캐시 히트별 상세 내역을 확인할 수 있게 된 것은 Anthropic이 쿼터 관리의 책임을 사용자에게 넘기기 시작했음을 의미한다. 이는 향후 캐시 미스 보험이 포함된 더 비싼 'Ultra' 구독 티어를 출시하기 위한 사전 작업일 가능성이 크다.

언급된 도구

Claude Code중립

Anthropic의 공식 CLI 코딩 에이전트