Claude Opus 4.8의 SWE-Bench Pro 성능 및 효율성 분석

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

Claude Opus 4.8은 이전 모델 대비 동일한 문제 해결 능력에서 더 적은 토큰을 사용하거나, 동일 토큰 사용량에서 더 높은 성능을 보인다.

Claude Opus 4.8 시스템 카드의 SWE-Bench Pro 성능 데이터를 바탕으로, 이전 모델인 4.7 및 4.6 버전과의 토큰 효율성과 문제 해결 능력을 비교 분석했다.

Opus 4.8의 'low' effort 설정은 이전 모델인 4.7 및 4.6의 'medium-high' effort와 유사한 수준의 출력 토큰을 사용한다. 이는 동일한 연산 비용 대비 더 높은 효율성을 추구할 수 있음을 의미한다.

Opus 4.8 'medium' effort는 4.7 'high'보다 더 많은 토큰을 사용하며, 4.6 'max'와 거의 유사한 토큰 사용량을 보인다. 설정에 따라 토큰 소비량이 크게 달라지므로 최적화가 필요하다.

Opus 4.8 'low' effort는 4.7 'max'와 대등한 문제 해결 능력을 보여준다. 낮은 노력 설정으로도 이전 세대의 최고 성능을 달성할 수 있다는 점이 핵심이다.

X축이 로그 스케일로 표시되어 있어 우측으로 갈수록 실제 차이가 그래프상보다 더 크다. 속도와 비용에 직접적인 영향을 미치므로 설정 조정 시 이를 고려해야 한다.