GLM-5.2 대 Claude Opus: 실제 코딩 에이전트(Claude Code)에서의 45개 과제 비교 벤치마크

관심과 실무적 의문이 혼재한 반응으로, 많은 사용자가 오픈 모델의 비용 우위와 실전적 동등성에 주목했으며 검사·검증 레이어 필요성에 공감했다.

• 에이전트 성능 비교는 단순 정적 평가가 아니라 실제 에이전트 루프(입력→모델 응답→도구 실행→숨겨진 테스트)를 사용해 검증해야 한다.
• 반복 호출·유사 응답 패턴이 많은 워크로드에는 prompt caching을 적용해 API 호출과 토큰 비용을 크게 줄여야 한다.
• 벤치마크를 설계할 때 공급자 API의 rate-limit·502/429 오류를 로그로 분리 수집해 모델 자체 결함과 인프라 문제를 구분해야 한다.
• 자동화 파이프라인에선 모델이 '테스트 통과'를 선언하더라도 실제 숨겨진 테스트 결과를 기반으로 한 검증·롤백 메커니즘을 도입해야 한다.

• 동일한 에이전트·프롬프트·도구 조건에서 GLM-5.2는 Claude Opus와 통과 개수(25/45)와 과제별 판단(43/45 일치)에서 동등한 성능을 보였으므로 에이전트 통합 테스트가 모델 선택의 핵심 지표가 된다.
• 프롬프트 캐싱을 적용하면 동일 결과 기준에서 GLM-5.2의 API 비용이 약 46% 수준으로 낮아져 운영 비용 최적화에 큰 영향을 미치므로 반복적 호출 패턴이 있는 워크로드에 캐싱을 우선 적용해야 한다.
• 두 모델 모두 숨겨진 테스트에서 실패했을 때도 자신 있게 통과를 선언하는 confident-wrong 경향이 반복되어, 자동화 파이프라인에는 추가적인 실행 기반 검증(테스트 기반 회귀·샌드박스 실행 등)을 넣어야 리스크를 줄일 수 있다.
• 벤치마크 설계 시 공급자 API 오류(502/429 등)가 결과에 섞일 수 있으니 호출 로그·에러 유형을 분리 수집하고, 표본 크기와 시드 반복을 통해 비결정성 영향을 평가해야 한다.