Claude 3 Opus 4.8의 'Thinking' 기능으로 인한 캐시 토큰 급증 문제와 해결책

커뮤니티 반응

많은 사용자가 유사한 토큰 사용량 급증 문제를 겪고 있으며, 4.7 버전으로의 롤백이나 설정 변경을 통한 해결책에 긍정적인 반응을 보였다.

주요 논점

01중립다수

Opus 4.8의 Thinking 기능은 성능 향상을 위한 것이지만, 캐시 토큰 사용량 측면에서는 비효율적이다.

합의점 vs 논쟁점

합의점

Opus 4.8의 Thinking 기능이 캐시 토큰 사용량을 크게 증가시킨다.
4.7 버전의 적응형 Thinking 방식이 토큰 효율성 측면에서 더 유리하다.

실용적 조언

캐시 토큰 사용량이 너무 많다면 Claude 3 Opus 4.8 대신 4.7 버전을 사용한다.
VS Code 설정 파일(~/.claude/settings.json)에 "model": "claude-opus-4-7"을 추가하여 버전을 고정한다.
Opus 4.8을 계속 사용해야 한다면 Thinking 기능을 비활성화하여 캐시 토큰 사용량을 줄인다.

섹션별 상세

Opus 4.8은 Thinking 기능이 항상 활성화되어 턴당 최대 90만 개의 캐시 토큰을 소모한다. 반면 4.7은 작업 복잡도에 따라 Thinking 여부를 결정하는 적응형 방식을 사용하여 1.4만~3.4만 토큰 수준을 유지한다. Thinking 블록이 매 턴마다 캐싱되면서 컨텍스트 윈도우가 빠르게 소진되는 현상이 발생한다. 4.8에서 Thinking을 끄면 캐시 토큰 사용량이 4.7과 유사한 1.2만 수준으로 회복된다.

사용자는 VS Code 환경에서 4.7 버전을 강제 설정하여 이 문제를 회피할 수 있다. 설정 파일에 모델 버전을 명시함으로써 Thinking 기능의 오버헤드를 방지하고 효율적인 토론이 가능하다.

언급된 도구

VS Code중립

개발 환경 및 Claude 설정 관리

Antigravity중립

Claude 관련 도구/확장 프로그램