Claude Max 계정 사용량 제한 도달 및 로컬 LLM 하드웨어 성능 테스트 후기

실용적 조언

API 비용 절감을 위해 TurboQuant가 적용된 Ollama나 패치된 llama.cpp를 통한 로컬 구동을 고려할 것
고부하 코딩 작업 시 Claude Max 계정의 추가 사용량(Extra Usage) 비용 발생 속도에 주의할 것

섹션별 상세

Claude Max 계정($100/월)에서 Claude Code 확장 프로그램을 여러 탭으로 동시 실행할 경우 2시간 만에 사용량 제한에 도달했다. 추가 사용량을 활성화하자 15분 만에 약 5.29달러가 소모되는 높은 비용 발생이 확인됐다. 이는 에이전트 기반의 집중적인 코딩 작업이 API 비용을 급격히 상승시킬 수 있음을 시사한다.

로컬 환경에서 Claude Code를 Ollama와 RTX 5060Ti(16GB) 조합으로 테스트했으나 성능이 매우 저조했다. 이후 RTX 4090(24GB)을 대여해 SSH 터널로 연결하여 glmctxsml 모델 기반의 NanoClaw 설치를 시도했으나, 최상위 소비자용 GPU에서도 구동이 쉽지 않은 모습이 관찰됐다.

Ollama에 도입될 예정인 TurboQuant 기술이 KV 캐시 메모리 사용량을 6배까지 줄여줄 것으로 기대하고 있다. 사용자는 이 최적화가 적용되면 추가 GPU 장착을 통해 토큰 비용 없이 로컬에서 NanoClaw 인스턴스를 상시 구동할 수 있을 것으로 전망한다.

RTX 6000 Pro와 같은 워크스테이션급 하드웨어가 Claude Code의 기능을 어느 정도까지 대체할 수 있을지에 대한 의문이 제기됐다. 또한 패치된 llama.cpp 버전을 실제로 구동 중인 사용자들의 성능 피드백을 요청하며 로컬 추론 효율성을 확인하고자 한다.

용어 해설

KV 캐시(KV Cache): — LLM 추론 과정에서 이전 토큰들의 연산 결과를 메모리에 저장해 두는 기술이다. 매번 전체 문맥을 다시 계산하지 않아도 되어 속도가 빠르지만, 문맥이 길어질수록 메모리 점유율이 급격히 증가하는 특성이 있다.
양자화(Quantization): — 모델의 가중치 데이터를 더 낮은 비트(예: 16비트에서 4비트)로 변환하여 모델 크기를 줄이는 기법이다. 이를 통해 VRAM 사용량을 획기적으로 줄이고 저사양 하드웨어에서도 대규모 모델을 구동할 수 있게 한다.
비디오 램(VRAM): — 그래픽 카드에 탑재된 전용 메모리로, LLM 구동 시 모델의 파라미터와 추론 데이터를 저장하는 공간이다. 모델의 크기와 컨텍스트 길이에 따라 필요한 VRAM 용량이 결정되며, 부족할 경우 구동이 불가능하거나 속도가 매우 느려진다.
SSH 터널링(SSH Tunnel): — 네트워크 보안 프로토콜인 SSH를 이용해 로컬 컴퓨터와 원격 서버 사이에 암호화된 통로를 만드는 기술이다. 이를 통해 외부의 고성능 GPU 자원을 마치 내 컴퓨터에 연결된 것처럼 활용하여 모델 추론을 수행할 수 있다.

언급된 도구

Claude Code중립

코딩 에이전트 확장 프로그램

Ollama추천

로컬 LLM 추론 엔진

NanoClaw중립

로컬 구동을 위한 인스턴스/도구