Claude Code 소스 코드 유출로 드러난 Anthropic의 비밀 모델 테스트 정황

작성자의 분석에 대해 대체로 흥미롭다는 반응이며, 최근 경험한 성능 저하와 잦은 오류의 원인이 비밀 테스트와 관련이 있을 것이라는 가설에 공감하는 분위기입니다.

• 모델의 성능이 급격히 변할 때는 서비스 제공자가 백그라운드에서 A/B 테스트를 진행 중일 가능성을 염두에 두어야 함
• Claude Code 대안 도구를 사용할 경우 Anthropic의 정책 변화에 따라 API 접근이 제한될 수 있음을 유의

• Anthropic은 Claude Code 사용자의 요청을 미공개 모델인 'Mythos'로 우회 처리하여 대규모 A/B 테스트를 진행한 정황이 있다.
• 소스 코드 내의 '좌절 감지기' 로직은 LLM 서비스가 사용자 피드백을 실시간으로 수집하여 모델 정렬(Alignment)에 활용하는 구체적인 방법론을 보여준다.
• 사용자가 느끼는 모델의 성능 변화는 실제 모델의 업데이트뿐만 아니라 백그라운드에서 이루어지는 모델 위임(Delegation) 전략에 의해 발생할 수 있다.