이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
네 모델의 비교 표는 acceptance와 judge 점수를 합산한 composite 점수로 Codex gpt-5.5가 96.1로 가장 높게 평가되었고 Claude Fable 5와 Claude Opus 4.8이 근소한 차이로 뒤를 이었다. 동일 표에서 wall time과 추정 API 비용도 함께 제시되어 Codex gpt-5.5가 17분으로 가장 빠르고 Gemini 3 Pro가 $3.21로 가장 저렴했음을 확인할 수 있다. acceptance 점수는 대체로 비슷했으나 judge 점수에서 모델별 세부 품질 차이가 관찰되어 단순 합산 점수만으로는 세부적 출력 품질을 온전히 판단하기 어렵다. 따라서 모델 선택 시에는 composite 성능과 함께 실행 지연 및 운영 비용, 그리고 인간 판정 기반의 질적 지표를 함께 고려해야 한다.
섹션별 상세
제시된 표는 네 가지 모델을 composite 점수 기준으로 비교하여 Codex gpt-5.5가 96.1로 가장 높은 종합 성능을 보였고 Claude Fable 5는 95.2, Claude Opus 4.8는 94.7, Gemini 3 Pro는 92.2로 이어졌다. composite 점수는 acceptance(70점 만점)와 judge(30점 만점) 등 원표의 개별 지표를 합산해 100점 척도로 환산한 것으로 보이며, 이 합산 방식이 모델 간 순위를 산출하는 근거로 작동했다. 표의 수치들이 구체적으로 기재되어 있어 동일한 입력과 평가 기준 하에서 모델 간 상대적 성능 차이를 정량적으로 비교할 수 있다. 이 비교는 단일 지표가 아닌 다중 지표 결합 결과를 통해 모델 선택 시 성능 우선순위를 판단하는 참고자료 역할을 한다.
표는 실행 시간과 비용 항목을 함께 제시하여 성능 대비 비용·지연 트레이드오프를 드러냈다. 한 번의 전체 워크플로 실행에 걸린 wall time은 Codex gpt-5.5가 17분으로 가장 짧았고 Claude Opus 4.8는 46분으로 가장 길었으며, 실행당 추정 API 비용은 Gemini 3 Pro가 $3.21로 가장 저렴하고 Claude Fable 5가 $11.63으로 가장 비쌌다. 이 수치들은 동일한 테스트 파이프라인에서 모델별 토큰 사용량, 호출 횟수, 및 내부 처리 구조가 비용과 지연에 어떤 영향을 주는지 보여준다. 따라서 운영 목적에서는 composite 성능뿐 아니라 wall time과 비용을 함께 고려해 서비스 품질과 운영비용 균형을 맞춰야 한다.
acceptance와 judge 두 가지 인간 관련 평가지표는 모델 성능의 질적 차이를 보완하는 역할을 했으며 표의 수치에서 Codex gpt-5.5, Claude Fable 5, Claude Opus 4.8은 acceptance가 모두 70.0으로 동일한 반면 judge 점수에서는 26.1, 25.2, 24.7로 차이를 보였다. acceptance는 출력이 기본 기준을 충족하는 비율 또는 점수로 해석되고 judge는 패널의 심층 평가를 반영하는 30점 척도로 보이므로 두 지표를 함께 볼 때 출력의 허용성뿐 아니라 질적 우수성까지 판단 가능하다. Gemini 3 Pro는 acceptance가 69.9로 근접했으나 judge 점수 22.3으로 다른 모델보다 낮아 동일한 허용성에도 세부 품질에서 차이가 있음을 시사한다. 이 관찰은 자동화된 합산 점수만으로는 인간 평가의 세부적 차이를 놓치기 쉽고 실제 적용에서는 judge와 같은 주관적 평가를 함께 고려해야 한다는 실무적 교훈을 제공한다.
용어 해설
- Composite Score
- — 여러 평가 지표를 가중 합산해 산출한 단일 점수로서, 본 표에서는 acceptance와 judge 점수 등을 종합해 0~100 범위로 환산한 값이다. 입력 성능과 판정 점수를 결합하여 모델 전반의 성능을 비교하는 데 쓰이며, 개별 지표의 균형을 반영한다.
- Wall Time
- — 작업을 시작한 시점부터 종료 시점까지 실제 소요된 시간으로서, 본 표에서는 단일 실행(run)당 전체 처리에 걸린 분 단위 시간을 표시했다. 추론 파이프라인 구성, 멀티스레딩 여부, 외부 API 호출 지연 등 서비스 레이턴시 영향을 모두 포함한다.
- API Cost / Run
- — 한 번의 워크플로 실행에 소요된 추정 API 비용으로서, 호출한 모델의 토큰 사용량과 요금 구조에 기반해 달러 단위로 계산된 금액을 의미한다. 비용 대비 성능 분석과 운영 예산 추정에 직접적으로 사용된다.
- Judge Score
- — 패널 혹은 시스템이 제공한 최대값 기준 평가 점수로서, 본 표에서는 패널 기준 30점 만점 중 획득한 수치로 표기되어 모델의 질적 판단을 반영한다. 자동화된 정량 지표와는 달리 인간 패널의 주관적 판단이 개입될 수 있다.
- Acceptance
- — 최대점수 기준으로 채택된 응답의 비율 또는 점수로서, 본 표에서는 70점 만점 기준 값으로 표기되어 모델 출력의 허용성 또는 만족도를 나타낸다. 단일 지표만으로는 품질을 완전하게 설명하지 못하므로 judge 점수 등과 함께 해석해야 한다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 07. 04.수집 2026. 07. 04.출처 타입 REDDIT
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.