코딩 작업 비용·성능 분석에서 OpenAI·Anthropic·오픈 모델이 Pareto 전선을 형성함

대체로 결과를 수용하는 분위기였으나 구현 세부와 일반화 가능성에 대한 질문이 제기됐다. 일부 참여자는 오픈 모델의 약진을 환영했으며 다른 참여자들은 실험 설정과 데이터셋 편향이 결과에 미친 영향을 지적했다. 비용 산정 방식과 하네스 구성에 따라 결론이 달라질 수 있다는 관점이 널리 공유되었다.

• 엔드투엔드 비용 비교 시 토큰 단가뿐 아니라 실제 토큰 소비량·재시도율·후처리 비용을 포함한 작업당 평균 비용을 산출할 것을 권장한다.
• 하네스 구성 요소(프롬프트 템플릿, 배치, 재시도 정책)를 실험 변수로 삼아 동일 모델에서의 비용과 품질 변화를 측정해야 한다.
• 여러 모델을 병행 테스트하여 Pareto 전선 상의 후보들을 식별한 뒤 워크플로 특성에 맞는 혼합 전략을 구성할 것을 제안한다.

Pareto Frontier

— 여러 모델의 성능과 비용을 동시에 고려할 때 어느 한 모델보다 성능이 높고 비용이 낮은 모델이 존재하지 않는 경계 집합을 의미한다. 입력으로는 작업별 평균 비용과 통과율 같은 지표를 사용하고, 처리 결과로는 비용 대비 최적의 모델 집합을 식별한다. 모델 선택과 비용·성능 트레이드오프를 평가할 때 핵심 기준으로 사용된다.

Token Efficiency

— 단위 작업을 처리하는 데 소모되는 토큰 수에 비해 얻는 출력 품질의 비율을 나타내는 개념이다. 입력 토큰·생성 토큰·재시도 횟수 등을 합한 전체 토큰 사용량을 분모로 두고 합격률이나 정확도 같은 품질 점수를 분자로 삼아 계산한다. 동일 비용 하에서 더 적은 토큰으로 높은 품질을 내는 모델이 토큰 효율성이 높다.

Harness

— 모델을 호출하고 프롬프트를 전처리·후처리하며 배치·재시도 정책을 적용하는 통합 실행 환경을 뜻한다. 입력을 정규화하고 출력을 필터링하거나 파이프라인화하여 동일 모델이라도 품질과 비용이 달라지게 만든다. 평가에서는 하네스 차이에 따른 비용·성능 변화가 실험 결과를 크게 좌우하는 요인으로 취급된다.

Cost per task (mean)

— 특정 작업을 끝내는 데 들어간 평균 달러 비용을 나타내는 지표이다. 토큰 단가, 토큰 사용량, 재시도 및 후처리 비용을 모두 반영한 총비용을 작업 수로 나누어 계산한다. 모델 간 비교에서 가격(토큰 단가)뿐 아니라 실제 워크플로우에서 발생한 총비용을 평가할 때 사용된다.

Overall pass-rate

— 테스트셋의 요구조건을 만족한 예제 비율로서 품질을 수치화한 지표이다. 입력문제에 대해 모델 출력이 통과 기준을 충족하는지를 판정하여 비율로 집계하며, 비용과 함께 Pareto 평가의 품질 축으로 사용된다. 동일 작업에서 높은 통과율을 달성하면 실제 서비스 품질 개선에 직접적으로 연결된다.