Claude Code 성능 저하 원인 분석: 네트워크 트래픽 분석을 통한 'Numbat' 엔진 발견

실용적 조언

모델의 성능 변화가 의심될 경우 --tls-keylog 플래그와 WireShark를 사용하여 백엔드로 전달되는 시스템 프롬프트와 파라미터를 직접 모니터링할 수 있다.

섹션별 상세

작성자는 Claude Code의 성능 저하 원인을 파악하기 위해 WireShark와 TLS 키로그를 활용한 네트워크 분석을 수행했다. 암호화된 트래픽을 복호화하여 시스템 프롬프트, 시스템 변수, 텔레메트리 데이터를 직접 추출하는 과정을 거쳤다. 이를 통해 일반적인 인터페이스에서는 보이지 않는 백엔드 통신 구조를 확인했다.

분석 결과 'Numbat'이라는 이름의 시그니처 라우팅 블록과 노력 수준(effort level) 파라미터가 발견됐다. 구체적으로 'numbat-v7-efforts-15-20-40-ab-prod8'과 같은 식별자가 세션에 할당되어 백엔드 인스턴스와 연결됨이 확인됐다. 이는 Anthropic이 모델의 추론 자원이나 성능을 특정 수치로 제한하고 있을 가능성을 시사한다.

Numbat이라는 명칭이 개미(Ants)를 먹는 동물의 이름이라는 점에서 Anthropic(Ants)의 자원 소모를 줄이는 최적화 엔진일 것이라는 가설이 제기됐다. 작성자는 이 엔진이 모델의 발자국(footprint)을 줄여 비용을 절감하는 대신 성능 희생을 초래했을 것으로 분석했다. 이는 프로젝트 'Glasswing'이나 'Mythos'와 관련된 자원 재배치 전략의 일환일 수 있다는 의견이 덧붙여졌다.

용어 해설

와이어샤크(WireShark): — 네트워크 패킷을 실시간으로 캡처하고 분석하는 오픈소스 툴이다. 데이터 패킷의 흐름을 상세히 들여다봄으로써 네트워크 문제 해결이나 보안 분석, 프로토콜 개발 등에 필수적으로 사용된다.
TLS 키로그(TLS Keylog): — 암호화된 TLS 통신을 복호화하기 위해 세션 키를 텍스트 파일로 기록하는 방식이다. 이를 통해 WireShark 같은 분석 도구에서 암호화된 HTTPS 트래픽의 실제 내용을 평문으로 확인할 수 있다.
시스템 프롬프트(System Prompt): — LLM이 사용자 질의에 응답하기 전, 모델의 역할이나 행동 지침을 설정하는 최상위 명령문이다. 모델의 말투, 제약 사항, 도구 사용 방식 등을 정의하여 전체적인 응답 품질을 결정한다.
텔레메트리(Telemetry): — 원격 장치나 소프트웨어의 사용 상태, 성능, 오류 정보를 수집하여 전송하는 자동화된 데이터 수집 체계이다. 서비스 운영자가 사용자 환경에서의 실제 동작을 모니터링하고 개선하는 데 활용된다.

언급된 도구

WireShark추천

네트워크 패킷 캡처 및 복호화 분석

Claude Code중립

AI 기반 코딩 에이전트