소형 역할 기반 벤치마크 결과와 Codex 라우팅 제안이 제시된 벤치마크 리포트로서 세부 수치와 시간·토큰 기반 계량이 제공되었다. 이 문서는 전략적 판단 과제, 레포지토리 기반 실행 브리프, 의도 삽입 결함 수리라는 세 가지 작업 유형을 동일한 프롬프트로 비교해 모델별 성능과 비용 지표를 제시했다. 최종적으로 저자는 측정값을 근거로 역할별 모델 배치를 권고하는 라우팅 구성을 도출했다.

원글은 구체적 수치와 표를 포함한 실무 중심 결과 제시로 인해 실무자 관점에서 관심을 끌었고 독자들은 측정된 시간·토큰 수치와 라우팅 제안에 대해 실무적 재현 가능성과 샘플 수의 한계를 지적했다. 많은 댓글은 작은 샘플 크기와 평가자가 모델 정체를 알고 있었던 점을 근거로 블라인드 재검증 필요성을 주문했고 일부는 동일 워크플로우에서의 API 비용과 CLI 오버헤드 차이를 더 면밀히 계량할 것을 권했다. 전반적으로 결과를 도입해 실험적 라우팅을 시도해볼 만하다는 반응이 많았으나 보편적 결론으로 일반화하기엔 추가 검증이 필요하다는 합의도 넓었다.

• 전략 판단용 세션에는 추론 품질이 높지만 토큰 사용과 지연이 상대적으로 큰 모델을 제한적으로 배치하고 운영/통합용 세션에는 중간 프로파일을 배치해 비용과 처리량을 최적화하라고 제안한다.
• 의도 삽입 결함 수리 같은 반복적 구현 작업에는 낮은 입력 소모와 짧은 응답 시간을 보이는 라우팅을 우선적으로 사용해 빠른 실패-복구 사이클을 확보하라고 권한다.
• 벤치마크 재현을 위해서는 블라인드 홀드아웃과 샘플 크기 확대, 로컬 CLI·API 오버헤드 분리 계측을 포함한 추가 실험을 먼저 수행하라고 권고한다.

Reasoning tokens

— 추론 토큰은 모델이 내부적으로 생성하거나 소비하는 중간 토큰 수로서 판단 과정의 길이와 비용을 직접적으로 나타낸다. 입력 프롬프트와 모델이 생성하는 중간 서술을 합산해 계측하며 긴 추론은 토큰 사용량과 지연을 증가시킨다. 본 글에서는 동일한 과제에서 각 모델이 사용한 reasoning tokens 수를 비교해 효율성과 과잉추론 여부를 판단하는 근거로 삼았다.

Repository-grounded

— 레포지토리 기반 실행은 모델이 코드 저장소나 문서에서 직접 컨텍스트를 읽어 실행 방안을 생성하거나 변경 사항을 제안하는 작업 프로필을 말한다. 입력으로 저장소 스냅샷과 관련 파일을 받아 의존성·통합 흐름을 점검하고 출력으로 실행 브리프나 패치 제안을 낸다. 본 문서에서는 저장소 기반 실행 브리프 성능을 시간과 추론 토큰으로 계측했다.

Planted bug repair

— 의도 삽입 결함 수리는 테스트 재현성을 위해 코드에 고의로 결함을 넣고 에이전트가 이를 자동으로 진단하고 패치하는 성능 시험법이다. 입력으로 결함이 포함된 코드와 테스트 스위트를 제공하면 모델이 수정 패치를 생성하고 직접 테스트를 실행해 성공 여부를 산출한다. 본 벤치마크에서는 복수의 모델이 동일한 결함 세트를 얼마나 빠르고 정확히 복구하는지를 비교했다.

Routing

— 모델 라우팅은 작업 유형과 성능 요구에 따라 서로 다른 모델을 역할별로 배치해 워크플로우를 최적화하는 운영 전략이다. 입력으로 작업 특성(전략 판단, 구현, 리뷰 등)을 받고 처리 단계별로 적합한 모델을 할당하며 출력으로 일관된 품질과 비용 효율을 목표로 한다. 작성자는 벤치마크 결과를 기반으로 Codex 라우팅을 구성해 운영 프로파일을 제안했다.