FrontierCode의 정확도와 비용 비교

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

이미지에 실린 FrontierCode 벤치마크는 Mean cost per task(USD, 로그 스케일)에 따른 Score(%)를 비교해 세 모델의 비용 대비 정확도를 보여주고 있으며 다이아몬드 서브셋은 가장 어려운 50문항으로 구성되어 고난이도 성능을 측정했다. 그래프에서는 Claude Fable 5가 비용을 높일수록 점진적·가파르게 성능이 올라 최고 약 31%에 도달했고 Claude Opus 4.8은 중간에서 높은 비용 구간 사이에 약 13%로 정점을 보이며 일부 구간에서 포화 현상이 관찰됐다. GPT-5.5는 전체 비용 범위에서 약 5–6% 선을 유지해 다른 두 모델에 비해 비용 대비 정확도가 낮았고 이는 비용을 증가시켜 성능을 얻는 전략의 유효성과 한계를 동시에 시사했다.

섹션별 상세

그래프는 Mean cost per task (USD, log scale)를 x축으로 하고 Score(%)를 y축으로 하여 세 모델의 비용 대비 성능을 비교한 벤치마크 결과를 제시하고 있다. 각 모델에서 'low', 'med', 'high', 'xhigh', 'max'로 레이블된 점들이 비용 계층을 나타내며 동일한 작업 세트에서 비용을 높였을 때 점수가 어떻게 변하는지를 시각적으로 표현하고 있다. 이미지 하단에는 다이아몬드 서브셋이 가장 어려운 50문항으로 구성되었다고 명시되어 있어 고난이도 항목에 대한 성능 차이를 확인할 근거가 제공된다.

세 모델(Claude Fable 5, Claude Opus 4.8, GPT-5.5)의 비용 대비 정확도를 비교한 선형/점 그래프로, x축은 작업당 평균 비용(USD, 로그 스케일)이고 y축은 점수(%)이다. — Chart이미지는 비용 축을 로그 스케일로 두어 낮은 비용대와 높은 비용대의 변화를 동시에 보여주며 각 모델의 비용 레벨별 성능 점을 'low'에서 'max'까지 레이블로 표시했다. Claude Fable 5는 비용 상승에 따라 점수가 큰 폭으로 증가하여 최고 약 31%에 도달했고 Claude Opus 4.8은 중간 비용대에서 약 13%로 최고점을 찍은 반면 GPT-5.5는 전 구간에서 약 5–6% 수준에 머물러 모델 간 성능 격차와 비용-효율성 차이를 직접적으로 드러냈다. 이미지 하단의 주석에 다이아몬드 서브셋이 가장 어려운 50문항으로 구성되었다고 표기되어 있어 그래프가 고난이도 항목에 대한 비교임이 확인된다.

첫 번째 이미지의 동일한 그래픽으로, 모델별 비용 단계에 따른 점수 변화를 동일하게 나타낸 복제 이미지이다. — Chart두 번째 이미지는 첫 번째와 동일한 데이터와 시각화를 제공하므로 동일한 근거로 사용가능하며, 그래프 복제는 게시자가 동일 이미지를 여러 해상도로 업로드했을 가능성을 시사한다. 두 이미지 모두 Claude Fable 5의 비용 증가에 따른 급격한 성능 향상과 Claude Opus 4.8의 중간 비용대 정점, GPT-5.5의 지속적 저성능을 근거로 모델 간 비용-정확도 트레이드오프를 비교할 수 있는 시각적 증거를 제공한다. 해당 이미지는 게시물 본문이 제거된 상황에서도 벤치마크 결과를 직접 확인할 수 있는 핵심 자료 역할을 한다.

Claude Fable 5는 비용이 낮은 구간에서는 약 11% 수준에서 시작했으나 비용이 증가할수록 일관되게 점수가 상승해 중간 비용대에서 약 18%를 기록하고 최고비용 구간에서는 약 31%까지 도달했다. 이 구간별 점들은 각 비용 레벨에서 모델이 더 많은 계산 자원이나 더 긴 컨텍스트를 사용했을 때 정답률이 어떻게 개선되는지를 보여주며, 그래프에서 가파른 상승 기울기가 비용-정확도 트레이드오프가 크다는 점을 암시한다. 따라서 비용을 늘려 성능을 개선하려는 운영적 결정이 실질적 이득으로 이어질 수 있음을 시사한다.

Claude Opus 4.8는 낮은 비용 구간에서 약 8% 수준으로 시작해 일부 구간에서 소폭 하락한 뒤 중간-높은 비용 구간에서 약 13%로 정점을 보이고 최상위 비용 구간에서는 다시 약간 하락하는 패턴을 보인다. 이 변화는 비용 투입이 항상 선형적으로 성능 향상으로 이어지지 않으며 특정 비용대에서 성능이 포화하거나 비효율이 발생할 수 있음을 의미한다. 반면 GPT-5.5는 점선으로 표시된 낮은 성능선이 전체 비용 범위에서 대체로 5–6% 선을 유지해 비용 대비 성능이 다른 모델들에 비해 낮게 나타났다.

용어 해설

Diamond subset: — 벤치마크 데이터에서 난이도가 높은 상위 50문항으로 구성된 하위집합으로, 전체 150문항 가운데 가장 어려운 문제들만 골라 모델의 고난도 처리 능력을 평가하는 데 사용된다. 이 서브셋은 평균 성능보다 오답률이 높게 나타나기 때문에 모델 간 차이를 더 명확하게 드러낸다. 이미지의 그래프에서는 이 서브셋을 기준으로 한 점수(%)를 표시하고 있다.
Mean cost per task: — 각 모델이 해당 작업을 수행하는 데 소요된 평균 비용을 미국 달러 단위로 계산한 지표로, 이미지에서는 로그 스케일로 표시되어 비용 증가에 따른 성능 변화를 한눈에 볼 수 있게 구성되어 있다. 비용은 모델 호출 빈도와 토큰 사용량 등 실제 실행 비용 요소를 평균화한 값으로 해석할 수 있다. 로그 스케일 사용으로 낮은 비용대와 높은 비용대의 변화를 동시에 비교할 수 있다.
Score (accuracy): — 테스트된 작업들에서 모델이 정답으로 판정된 비율을 백분율로 환산한 지표로, 본 그래프에서는 각 비용 수준에서의 성능을 퍼센트로 표기해 비용 대비 정확도를 비교한다. 값은 전체 또는 다이아몬드 서브셋과 같은 하위집합에 대해 산출될 수 있으며, 이미지 하단에 다이아몬드 서브셋이 언급되어 있다. 이 점수는 모델 간 상대적 성능 차이를 시각화하는 데 핵심적이다.

FrontierCode의 정확도와 비용 비교

TL;DR

섹션별 상세

용어 해설

관련 토론

댓글

관련 기사

모델 벤치마크 표: Codex gpt-5.5, Claude Fable 5, Claude Opus 4.8, Gemini 3 Pro 비교

모델별 DeepSWE 점수와 작업당 평균 비용 비교 차트

A-CODE-LLM Bench의 모델별 종합 성능 그래프가 포함된 게시물

원문 제목 없음

LLM 코딩 평가: 성능 대 비용과 파레토 최적선