Mythos Preview 벤치마크 결과와 Anthropic의 내부 모델에 대한 추측

실용적 조언

코딩 자동화나 복잡한 소프트웨어 엔지니어링 작업 시 Mythos Preview 급의 성능을 가진 모델을 활용하면 생산성을 크게 높일 수 있다.

섹션별 상세

Mythos Preview가 코딩 및 멀티모달 성능에서 기존 모델을 압도하는 수치를 기록했다. SWE-bench Pro에서 77.8%를 기록하며 Opus 4.6의 53.4%를 크게 앞질렀고, 멀티모달 성능 역시 59%로 기존 27.1% 대비 두 배 이상의 격차를 보였다. 이러한 성능 차이는 단기간에 이루어질 수 없는 수준이며 장기간의 연구 개발 결과물임을 시사한다.

Anthropic이 자사 모델 개발 과정에서 Claude를 직접 활용한다는 점이 논의의 핵심이다. 프롬프트 개선, 코드 리뷰, 학습 반복 작업에 Claude를 사용한다고 공표했으나, Mythos의 성능이 이토록 높다면 지난 1년간 그 작업을 수행한 것은 Opus 4.6이 아닌 더 상위 모델일 가능성이 크다. 즉, 개발진은 이미 '스승' 격인 내부 모델을 사용해왔고 대중은 '학생' 모델을 사용해온 셈이다.

공개된 벤치마크 수치는 해당 모델이 가진 성능의 상한선이 아닌 하한선이라는 주장이 제기됐다. 기업이 외부에 공개하기로 결정한 Mythos Preview가 이 정도 수준이라면, 현재 Anthropic 내부에서 실제로 가동 중인 미공개 모델의 성능 한계치는 상상을 초월할 것이라는 분석이다. 이는 AI 발전 속도가 대중이 체감하는 것보다 훨씬 빠를 수 있음을 의미한다.

용어 해설

소프트웨어 엔지니어링 벤치마크 프로(SWE-bench Pro): — LLM이 실제 소프트웨어 엔지니어링 문제를 해결하는 능력을 평가하는 벤치마크이다. 코드 수정, 버그 해결 등 실무적인 코딩 역량을 측정하며, 높은 점수는 복잡한 개발 업무의 자동화 가능성을 의미한다.
멀티모달(Multimodal): — 텍스트뿐만 아니라 이미지, 오디오, 비디오 등 다양한 형태의 데이터를 동시에 처리하고 이해하는 AI 모델의 능력이다. 여러 감각 정보를 통합하여 더 복잡한 상황을 인지하고 추론할 수 있게 한다.
내부적 한계치(Internal Ceiling): — 기업이 외부에 공개한 모델보다 더 뛰어난 성능을 가진 내부 미공개 모델의 성능 수준을 의미한다. 연구 개발 과정에서 최신 기술이 먼저 적용된 모델이 존재함을 시사하는 용어이다.

언급된 도구

Mythos Preview추천

차세대 대규모 언어 모델 (LLM)

Opus 4.6중립

기존 고성능 언어 모델