TL;DR
GLM-5.3은 GLM-5.2와 같은 기반 모델에 새 사전 학습 없이 Post-training을 적용해 Terminal Bench 3.0 점수를 4.6에서 28.3으로 높였습니다. 여러 턴이 이어지는 장기 코딩 과제에서 상승폭이 컸고, 도구 호출의 불안정성도 줄었다는 초기 관찰이 나왔습니다. 사이버보안 평가에서도 CyberGym 84.5점과 ExploitBench 54.4점을 기록했지만, GPT-5.6 Sol이 일부 보안 지표와 최상위 점수에서 앞섰습니다. 실제 복잡한 저장소에서 긴 세션을 실행해야 공개 벤치마크와 체감 성능의 차이를 확인할 수 있다는 결론입니다.
실용적 조언
- 공개 벤치마크 점수만으로 장기 코딩 모델을 선택하지 말고 실제로 사용하는 복잡한 저장소에서 여러 턴의 작업을 실행해 보는 편이 낫습니다. 같은 이슈를 여러 모델에 맡기면서 문맥 유지, 도구 호출 성공률, 오류 복구, 최종 변경 사항의 품질을 함께 기록해야 합니다. 특히 GLM-5.3은 Terminal Bench 3.0 점수 상승폭이 크므로 긴 세션 성능을 중점적으로 비교할 만합니다.
섹션별 상세
이미지 분석
표는 GLM-5.3이 Terminal Bench 3.0에서 28.3점으로 GLM-5.2의 4.6점보다 높고, DeepSWE에서 66.9점, AutomationBench에서 48.2점을 기록한 결과를 담고 있습니다. 사이버보안 영역에서는 CyberGym 84.5점, ExploitBench 54.4점을 기록하며 모델별 강점이 항목마다 갈리는 양상이 나타납니다. 글의 핵심인 장기 코딩과 보안 작업 성능 상승을 한 화면에서 비교할 수 있습니다.
GLM-5.3과 GLM-5.2, Kimi K3, DeepSeek-V4 Pro-0813, Qwen3.8-Max, Opus 4.8, Fable 5, GPT-5.6 Sol의 코딩·사이버보안·에이전트 벤치마크 점수를 비교한 표입니다.
CyberGym에서는 GLM-5.3이 84.5점으로 GLM-5.2의 77.2점과 Kimi K3의 80.0점보다 높습니다. ExploitBench에서는 GLM-5.3이 54.4점으로 GPT-5.6 Sol의 76.5점보다 낮지만, ExploitGym에서는 2시간 예산 105개와 6시간 예산 130개를 기록해 GLM-5.2의 29개와 39개보다 높습니다. 따라서 GLM-5.3의 보안 성능이 모든 평가에서 최고라기보다 평가 방식에 따라 우위가 달라진다는 점을 읽을 수 있습니다.
CyberGym, ExploitBench, ExploitGym에서 GLM-5.3과 GLM-5.2, Kimi K3, Mythos 5, GPT-5.6 Sol의 성능을 막대그래프로 비교한 이미지입니다.
GLM-5.3은 Terminal Bench 3.0에서 28.3점으로 GLM-5.2의 4.6점보다 크게 높고, DeepSWE에서 66.9점으로 GPT-5.6 Sol의 72.7점에 근접합니다. AutomationBench에서는 48.2점으로 Kimi K3의 46.7점과 Fable 5의 46.2점보다 높으며, HLE w/ Tools에서는 62.5점으로 GPT-5.6 Sol의 64.5점과 비슷합니다. 이 비교는 GLM-5.3이 여러 코딩·에이전트 평가에서 GLM-5.2보다 넓게 개선됐다는 글의 근거가 됩니다.
Terminal Bench 3.0, DeepSWE, Agents' Last Exam, AutomationBench, HLE w/ Tools, GDPval-AA v2의 모델별 점수를 막대그래프로 정리한 이미지입니다.
용어 해설
- 사후 학습(Post-training)
- — 사전 학습을 새로 진행하지 않고 기존 모델의 가중치나 행동을 추가로 조정하는 단계입니다. 이 글에서는 GLM-5.2와 같은 기반 모델에 추가 학습을 적용해 장기 코딩 과제, 도구 호출, 사이버보안 작업의 수행 방식을 개선한 과정으로 사용됐습니다.
- 장기 과제(Long-horizon Tasks)
- — 한두 번의 응답으로 끝나지 않고 여러 단계와 반복적인 도구 사용을 거쳐 해결하는 작업입니다. Terminal Bench 3.0처럼 긴 실행 흐름에서 문맥 유지, 계획 수립, 오류 복구가 함께 요구되므로 일반적인 단기 코딩 문제보다 실제 저장소 작업에 가까운 평가가 됩니다.
- 도구 호출(Tool Calling)
- — Language model이 외부 명령이나 개발 도구를 선택하고 필요한 인자를 전달해 실행하는 방식입니다. 이 글에서는 이전 모델의 약점으로 지적된 도구 호출의 불안정성이 GLM-5.3에서 줄어들어 긴 코딩 세션의 작업 흐름이 덜 끊긴다는 관찰과 연결됩니다.
- 책임 있는 공개 절차(Responsible Disclosure)
- — 오픈소스 프로젝트에서 발견한 실제 보안 취약점을 무단 공개하지 않고 해당 프로젝트에 알린 뒤 수정과 공개 일정을 조율하는 절차입니다. 글에서는 모델이 오래된 오픈소스에서 버그를 찾고 정식 공개 과정까지 진행한 사이버보안 평가 맥락으로 등장합니다.
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
