LLM 토큰 사용량에 대한 당신의 직관이 틀릴 수 있는 이유

LLM 에이전트를 활용한 개발 작업에서 실제 토큰 사용량은 사용자의 직관보다 훨씬 거대한 규모로 발생합니다. GPT-5.4-mini를 이용한 30분간의 세션 분석 결과, 일반적인 입력 및 출력 토큰보다 캐시된 컨텍스트를 읽어들이는 'Cache Read' 비중이 한 자릿수 이상 높게 나타났습니다. 이는 대화가 진행될수록 기존 컨텍스트가 매번 다시 읽히기 때문이며, 단순한 요약 요청 하나에도 수십만 개의 캐시 토큰이 소모됨이 확인됐습니다. 따라서 LLM 사용 효율을 극대화하기 위해서는 컨텍스트 길이를 짧게 유지하는 전략이 필수적입니다.