벤치마크 비교 표: Opus 5·Fable 5·Opus 4.8·GPT-5.6 Sol 성능 요약

이미지 기반 성능 비교는 관심을 끌기에 충분하며 Opus 5의 전반적 우수성에 주목하는 반응이 예상된다. 동시에 벤치마크별 세부 조건과 도구 사용 여부가 결과에 큰 영향을 미치므로 수치만으로 모델 전반의 우열을 확정할 수 없다는 회의적 견해도 존재할 가능성이 크다. 법률·생명과학 등 특정 도메인에서 낮은 성능 수치가 반복 표기된 점은 실무 도입 전 추가 검증의 필요성을 환기시킨다.

• 벤치마크 수치를 참조할 때는 동일한 도구 사용 조건과 평가 설정인지 먼저 확인해야 한다. 도구 사용 여부가 점수에 큰 영향을 주므로 무도구 결과와 도구 사용 결과를 혼동하면 적용 실패로 이어질 위험이 크다. 따라서 실환경 도입 전에는 목표 시나리오에 맞춘 재평가와 도구 통합 테스트를 우선 수행해야 한다.
• 특정 태스크에서 높은 수치를 보인 모델을 선택할 때는 해당 태스크의 입력-처리-출력 파이프라인을 재현해 성능을 검증해야 한다. 표의 수치는 동일 벤치 환경에서 나온 값이므로 실제 데이터 분포나 사용자 요구가 다르면 성능 변동이 발생한다. 사전 파일럿 테스트와 오류 케이스 수집을 통해 예상 품질을 검증하는 절차를 마련해야 한다.
• 전문 도메인 적용 시에는 모델 출력의 검증 라인을 별도로 설계해야 한다. 법률·의학·생물학처럼 오류 비용이 큰 영역에서는 인간 검수 또는 규칙 기반 안전 장치를 포함해 모델 출력이 그대로 사용되지 않도록 통제해야 한다. 또한 모델 업데이트나 도구 변경 시 재검증을 자동화하여 지속적 품질 관리를 유지해야 한다.

ARC-AGI-3

— 고난도 문제 해결 능력을 평가하는 벤치마크로, 주로 알고리즘적 사고와 창의적 추론을 요구하는 문제를 포함한다. 입력으로 문제 서술을 받고 모델은 논리적 단계를 거쳐 해답을 생성하며 정답 여부로 성능을 측정한다. 이 이미지에서는 'Novel problem-solving' 항목으로 모델 간 차이를 비교하는 데 사용되었다.

GDPval-AA v2

— 지식 기반 작업의 정밀도를 수치로 환산하는 벤치마크로, 문서 이해와 추론을 결합한 평가를 수행한다. 모델에 문서와 질문을 입력하면 정답 수치 또는 점수가 출력되고 이 값을 통해 모델 성능을 비교한다. 이미지의 'Knowledge work' 항목에서 각 모델의 수치가 직접 비교되어 있다.

BrowseComp

— 인터넷 검색과 정보 수집 능력을 평가하는 에이전트형 벤치마크로, 외부 도구나 브라우저 동작을 모사한 환경을 통해 성능을 측정한다. 입력으로 질의가 주어지고 모델은 검색, 가공, 정리 과정을 거쳐 응답을 생성하며 성공 비율로 점수를 산출한다. 이미지의 'Agentic search' 행에서 높은 수치들이 이 벤치마크의 결과임이 확인된다.

Humanity's Last Exam

— 다학제적 추론 능력을 평가하는 벤치마크로, 도구 사용 가능/불가능 조건을 나누어 모델의 종합적 추론 능력을 테스트한다. 문제 입력을 받고 내부 추론과 외부 도구 호출(가능한 경우)을 통해 답을 생성하며 도구 사용에 따른 성능 변화를 측정한다. 이미지에서 'Multidisciplinary reasoning' 항목은 이 벤치마크의 무도구·도구 사용 결과를 병기하고 있다.