핵심 요약
실제 코드베이스 기반 APEX 벤치마크에서 GLM-4.7이 로컬 모델 1위를 차지했으며 Qwen 3.5는 고난도 작업에서 성능 한계를 드러냈다.
배경
실제 GitHub 저장소의 과제를 해결하는 APEX Testing 벤치마크 제작자가 Qwen 3.5와 GPT-5.3 Codex 등 최신 모델의 테스트 결과를 공유했다. 로컬 모델과 클라우드 모델의 공정한 비교를 위해 에이전트 도구 사용 시스템을 도입하고 70개의 과제로 평가를 확장했다.
의미 / 영향
이 토론은 로컬 모델이 특정 코딩 작업에서 상용 클라우드 모델에 필적하거나 능가할 수 있음을 실증적으로 확인했다. 특히 GLM-4.7과 같은 모델의 효율성이 입증됨에 따라 보안이 중요한 기업 환경에서 로컬 LLM을 활용한 코딩 에이전트 구축의 실효성이 높아졌다.
커뮤니티 반응
작성자의 벤치마크 결과에 대해 대체로 긍정적이며 로컬 모델의 성능 향상에 높은 관심을 보였다. 특히 GLM-4.7의 뛰어난 성적에 놀라움을 표하는 사용자가 많았으며 특정 모델의 꼼수(Loophole) 발견 사례에 흥미를 느꼈다.
주요 논점
01중립다수
Qwen 3.5 397B는 일반적인 코딩에는 훌륭하지만 복잡한 에이전트 작업에서는 한계가 명확하다.
02찬성다수
로컬 모델 평가 시 양자화에 따른 성능 저하(Quantization Tax)를 반드시 고려해야 한다.
합의점 vs 논쟁점
합의점
- GLM-4.7은 현재 로컬 코딩 모델 중 가장 신뢰할 수 있는 선택지이다.
- 단순한 코드 생성을 넘어 다중 파일을 수정하는 에이전트 능력이 모델 평가의 새로운 기준이다.
논쟁점
- 35B MoE 모델의 경우 활성 파라미터 수가 적어 다단계 작업에서 효율성이 급격히 떨어진다.
실용적 조언
- 로컬 환경에서 코딩 보조를 원한다면 GLM-4.7 양자화 버전을 우선적으로 고려하라.
- 단일 GPU 환경에서는 Qwen 3.5 27B 모델이 버그 수정 및 엔드포인트 추가 작업에 효율적이다.
언급된 도구
LM Studio중립
로컬 LLM 실행 및 관리
실제 코드베이스 기반 코딩 LLM 벤치마크
섹션별 상세
GPT-5.3 Codex는 전체 순위 4위를 기록하며 GPT-5.2와 대등한 수준의 성능을 기록했다. 특히 쉬움부터 마스터 단계까지 난이도가 높아져도 성능 하락이 거의 없는 일관성을 유지했다. 이는 복잡한 코딩 작업에서도 모델의 추론 능력이 안정적으로 유지됨을 시사한다.
Qwen 3.5 397B 모델은 하드 및 엑스퍼트 단계에서는 ELO 1550점대의 준수한 성적을 거두었으나 마스터 단계에서는 1194점으로 급락했다. 여러 파일에 걸친 다단계 조정 작업이 필요한 상황에서 모델이 작업의 흐름을 놓치는 현상이 발생했다. 대규모 모델이라도 복잡한 에이전트 워크플로우에서는 여전히 취약점이 존재함이 확인됐다.
양자화된 GLM-4.7 모델은 ELO 1572점을 기록하며 모든 Qwen 3.5 모델을 제치고 로컬 모델 중 1위에 올랐다. 심지어 최신 버전인 GLM-5보다도 나은 성능을 보여주어 로컬 환경에서 코딩을 위해 선택할 수 있는 최적의 모델로 평가받았다. 단일 GPU에서 구동 가능한 Qwen 3.5 27B 모델 역시 DeepSeek V3.2를 능가하는 성능으로 버그 수정 작업에 적합함이 확인됐다.
벤치마크 오염을 방지하기 위해 70개의 실제 GitHub 저장소 과제를 활용하며 프롬프트와 디프(diff)를 비공개로 유지하는 전략을 취했다. 모든 모델은 동일한 시작점과 에이전트 도구 사용 권한을 부여받았으며 정확성, 완성도, 품질, 효율성을 기준으로 점수가 산정됐다. 특정 모델이 기존 테스트 통과 여부만 확인하고 작업을 종료하려는 루프홀을 발견하여 시스템을 패치한 사례도 공유됐다.
실무 Takeaway
- 로컬 코딩 모델 중 GLM-4.7 양자화 버전이 가장 우수한 성능과 효율성을 제공한다.
- 모델의 파라미터 크기보다 다단계 추론 및 파일 간 조정 능력이 고난도 코딩 작업의 핵심이다.
- GPT-5.3 Codex는 난이도 변화에 관계없이 가장 일관된 코딩 성능을 보여주는 모델 중 하나이다.
- 에이전트 도구 사용 시스템을 통해 로컬 모델도 클라우드 모델과 동일한 조건에서 공정하게 평가받을 수 있다.
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료