METR Time Horizons 벤치마크를 통해 본 모델별 지능 효율성 분석

섹션별 상세

METR Time Horizons 벤치마크는 모델이 해결할 수 있는 과제의 난이도뿐만 아니라, 해당 과제를 완수하기 위해 소모된 컴퓨팅 자원 데이터를 통합하여 제공한다. 이를 통해 모델의 절대적인 지능 수준 외에도 경제적 효율성을 객관적으로 평가할 수 있는 지표를 마련했다.

지능 효율성(Intelligence Yield, IY)은 모델이 단위 연산량당 생성해내는 지능적 결과물의 수준을 의미한다. Anthropic, OpenAI, Google의 주요 모델들을 시계열로 분석한 결과, 최신 프론티어 모델일수록 동일한 난이도의 문제를 해결하는 데 필요한 연산 비용이 지속적으로 감소하는 추세를 보인다.

Opus 4.6 모델은 벤치마크 데이터상에서 가장 높은 지능 효율성을 기록했다. 기존 모델들보다 복잡한 논리 구조를 가진 과제를 더 안정적으로 처리하면서도, 실제 계산에 사용된 리소스는 이전 버전 대비 유의미하게 낮아진 것이 확인됐다.

모델의 출시일과 지능 효율성의 상관관계를 분석한 결과, 로그-선형 스케일에서 지능 효율성이 꾸준히 상승하고 있다. 이는 하드웨어의 발전뿐만 아니라 알고리즘 및 아키텍처 최적화가 모델의 실질적인 가성비를 결정짓는 핵심 요소로 작용하고 있음을 증명한다.

기술

Opus 4.6
Anthropic
OpenAI
Google

활용 사례

모델 벤치마킹 및 선정
추론 비용 최적화 전략 수립
AI 에이전트 성능 평가

언급된 리소스

문서METR Time Horizons