AMD AI 디렉토리의 Claude Code 성능 분석: 성능 저하와 벤더 종속성 경고

실용적 조언

특정 모델의 트릭에 의존하기보다 여러 모델에서 공통적으로 작동하는 범용 프롬프트 엔지니어링 기법을 익혀야 한다.
Perplexity와 같이 여러 모델(Claude, GPT, Gemini)을 즉시 교체하며 테스트할 수 있는 인터페이스를 활용하라.
최소 월 단위로 대안 모델들의 성능을 벤치마킹하여 워크플로의 생존성을 점검해야 한다.

섹션별 상세

AMD 팀은 6,852개의 Claude Code 세션과 23만 개 이상의 도구 호출을 분석하여 모델의 신뢰성을 검토했다. 분석 결과 추론 깊이가 67% 감소했으며, 코드 수정 전 읽기 횟수가 6.6회에서 2.0회로 급감하여 모델이 읽지도 않은 파일을 수정하는 현상이 발생했다. 이는 대규모 실무 환경에서 모델의 정량적 성능 지표가 실제 작업 품질 하락으로 직결됨을 보여준다.

Anthropic이 사용자 고지 없이 기본 노력 수준을 'High'에서 'Medium'으로 변경하고 적응형 추론 방식을 도입했음이 확인됐다. 이 과정에서 일부 작업에 할당된 추론 토큰이 0으로 떨어졌으며, 추론 과정이 생략된 턴에서 심각한 환각 현상이 집중적으로 나타났다. 모델 제공업체가 비용이나 효율성을 위해 성능을 임의로 조정할 수 있다는 리스크가 드러났다.

AMD는 기존에 구축했던 AI 컴파일러 워크플로 전체가 Claude Code에 맞춰져 있어 단일 업데이트로 인해 전체 공정이 마비되는 경험을 했다. 이를 통해 특정 모델의 특이점에 의존하는 워크플로는 지속 가능하지 않으며, 언제든 다른 모델로 교체 가능한 멀티 모델 전략이 필수적이라는 결론에 도달했다. 현재 AMD 팀은 해당 도구 사용을 중단하고 다른 서비스 제공업체로 전환을 완료했다.

용어 해설

추론 토큰(Thinking Tokens): — 모델이 최종 답변을 내놓기 전 내부적으로 논리적 추론 과정을 거치는 데 사용하는 토큰이다. 복잡한 코딩이나 수학 문제 해결 시 모델의 사고 깊이를 결정하며, 이 토큰 할당량이 줄어들면 논리적 오류나 환각 현상이 발생할 가능성이 높아진다.
벤더 종속성(Vendor Lock-in): — 특정 서비스 제공업체의 기술이나 도구에 과도하게 의존하여 다른 대안으로 전환하기 어려운 상태를 의미한다. AI 모델의 경우 특정 모델의 특성에 맞춘 워크플로를 구축했을 때, 모델 업데이트나 성능 저하 시 전체 시스템이 마비될 위험이 있다.
적응형 추론(Adaptive Thinking): — 모델이 작업의 난이도에 따라 스스로 추론에 투입할 자원(사고량)을 결정하는 방식이다. 효율성을 높일 수 있으나, 이번 사례처럼 복잡한 작업에서 모델이 임의로 추론량을 줄여 성능 저하를 초래하는 부작용이 발생할 수 있다.

언급된 도구

Claude Code비추천

AI 기반 코딩 에이전트 및 엔지니어링 도구

Perplexity추천

여러 LLM을 전환하며 사용할 수 있는 인터페이스 제공