Claude Code 소스 코드 유출로 드러난 Anthropic의 비밀 모델 테스트 정황

커뮤니티 반응

작성자의 분석에 대해 대체로 흥미롭다는 반응이며, 최근 경험한 성능 저하와 잦은 오류의 원인이 비밀 테스트와 관련이 있을 것이라는 가설에 공감하는 분위기입니다.

주요 논점

01찬성다수

유출된 코드 내의 구체적인 로직과 모델명은 단순한 버그 이상의 체계적인 테스트 정황을 뒷받침한다.

02중립소수

기업이 서비스를 개선하기 위해 백그라운드 테스트를 하는 것은 일반적이지만, 투명성 부족이 문제다.

합의점 vs 논쟁점

합의점

최근 Claude Code의 응답 품질과 자기 수정 능력이 이전보다 눈에 띄게 저하되었다는 점에 동의함
소스 코드에 포함된 'Mythos'라는 명칭이 차기 모델의 코드네임일 가능성이 매우 높음

논쟁점

성능 저하가 실제 모델 교체 때문인지, 아니면 단순히 사용자의 기대치가 높아진 것인지에 대한 논쟁
Anthropic이 의도적으로 타사 클라이언트의 API 접근을 차단했는지 여부

실용적 조언

모델의 성능이 급격히 변할 때는 서비스 제공자가 백그라운드에서 A/B 테스트를 진행 중일 가능성을 염두에 두어야 함
Claude Code 대안 도구를 사용할 경우 Anthropic의 정책 변화에 따라 API 접근이 제한될 수 있음을 유의

섹션별 상세

유출된 Claude Code 소스 코드에서 'Mythos'라는 차세대 모델명이 발견됐다. 작성자는 출시되지 않은 모델의 이름이 소스 코드에 포함된 이유가 백그라운드에서 실제 사용자 요청을 이 모델로 처리하며 성능을 테스트하기 위함이라고 주장했다. 이는 사용자가 인지하지 못하는 사이에 새로운 아키텍처나 가중치를 검증하는 데이터 수집 과정의 일부로 해석됐다.

사용자의 부정적 반응을 감지하기 위한 '정규표현식 기반 좌절 감지기(Regex Frustration Detector)' 로직이 확인됐다. 모델이 잘못된 코드를 생성했을 때 사용자가 보이는 특정 패턴의 불만을 감지하여 해당 데이터를 학습 및 개선용으로 분류하는 시스템이다. 이를 통해 Anthropic이 정량적 지표뿐만 아니라 정성적인 사용자 피드백을 자동화된 방식으로 수집하고 있음이 드러났다.

최근 Claude의 성능 저하 체감은 비밀 테스트 종료에 따른 역체감 현상이라는 분석이 제시됐다. 테스트 기간 동안 Opus 4.6이 내부적으로 Mythos 모델에 작업을 위임하여 높은 품질을 보여주었으나, 유출 사건 이후 테스트 윈도우가 닫히면서 다시 순수 Opus 4.6으로 회귀했다는 설명이다. 사용자들이 과거에 찬양했던 모델임에도 불구하고 더 뛰어난 성능을 경험한 뒤라 현재 모델이 상대적으로 무능하게 느껴지는 현상이 발생했다.

런타임 자기 수정(Runtime Self-Correction) 기능의 소멸이 모델 품질 저하의 핵심 증거로 거론됐다. 이전에는 모델이 추론 과정에서 스스로 오류를 수정하며 사고 과정을 노출했으나, 현재는 이러한 동적 수정 빈도가 현저히 낮아졌다. 이는 고성능 모델의 추론 능력이 제한되었거나 비용 절감을 위해 더 가벼운 모델로 교체되었을 가능성을 시사한다.

용어 해설

A/B 테스트(A/B Testing): — 두 가지 이상의 모델 버전을 사용자 그룹별로 다르게 노출하여 성능과 사용자 만족도를 비교하는 실험 기법이다. 이 글에서는 기존 Opus 모델과 미공개 모델인 Mythos를 백그라운드에서 교차 테스트하여 성능 데이터를 수집하는 용도로 언급됐다.
토큰 소모(Token Burn): — LLM 사용 시 입력과 출력에 소비되는 데이터 단위인 토큰의 양을 의미한다. 본문에서는 특정 버그로 인해 토큰 소모량이 급증했으나, 실제로는 새로운 모델 테스트 과정에서 발생한 비정상적 수치일 가능성이 제기됐다.
자기 수정(Self-Correction): — 모델이 답변을 생성하는 과정에서 스스로 오류를 인지하고 논리를 수정하는 능력이다. 복잡한 코딩 작업 시 '이 방법은 안 되니 다른 방법으로 하겠다'는 식의 사고 과정을 출력하며 최종 결과물의 품질을 높이는 핵심 메커니즘이다.

언급된 도구

Claude Code중립

Anthropic에서 제공하는 CLI 기반 AI 코딩 에이전트