TL;DR

GLM-5.2는 zai-org가 공개한 GLM-5 계열의 최신 LLM으로 1M 토큰의 'solid' 컨텍스트를 제공해 장기 문맥 작업에서 안정성을 확보한 모델이다. 아키텍처 측면에서는 IndexShare를 도입해 네 개의 sparse attention 레이어마다 동일 인덱서를 재사용함으로써 1M 컨텍스트에서 토큰당 FLOPs를 2.9배 줄였고, MTP 레이어 개선으로 speculative decoding의 수용 길이를 최대 20% 늘려 추론 효율을 개선했다. 실제 평가는 Terminal-Bench 81.0, ProgramBench 63.7, HLE 40.5 등으로 장문·실전형 작업에서 경쟁력 있는 성능을 보였으나 일부 reasoning 벤치에서는 Claude나 특정 경쟁 모델보다 낮은 점수를 기록한 항목이 존재한다. MIT 라이선스 공개와 vLLM·SGLang·Transformers 등 다중 프레임워크 지원 문서가 포함되어 로컬 배포와 상업적 활용이 용이하나, 파라미터 수나 세부 훈련 레시피는 README에 제한적으로만 공개되어 완전한 재현을 위해서는 추가 자료가 필요하다.

핵심 역량

• 1M 토큰 컨텍스트를 유지한 장문 생성과 장기 상태 추적이 가능하다. 모델은 긴 대화 세션이나 대규모 문서 분석에서 문맥을 소실하지 않고 일관된 출력을 유지할 수 있다. 대규모 컨텍스트를 요구하는 자동화된 워크플로에서 직접적으로 활용할 수 있다.
• 코드 생성과 터미널 상호작용에서 높은 성능을 보이며, 다단계 추론에서 사고 노력 수준(thinking effort)을 조절하여 성능과 지연 시간 사이의 균형을 맞출 수 있다. 실제 평가에서 Terminal-Bench와 ProgramBench 등 실전형 벤치에서 경쟁력 있는 점수를 기록했다. 실행 시 레이턴시 제어가 가능한 설정이 도입되어 응답 속도와 정확도 트레이드오프를 조절할 수 있다.
• 도구 연동(도구 사용 환경)과 툴 기반 증강 평가에서 입력 컨텍스트를 크게 확장하여 외부 툴 호출과 결합된 복합 작업을 수행할 수 있다. README의 툴 기반 평가 설정이 별도로 제공되어 도구 사용 시 최대 토큰 길이를 늘린 실험을 지원했다. 모델은 툴-증강 추론 시 입력 관리와 출력 포맷을 고려한 설정이 포함되어 있다.
• 다국어 지원을 포함하여 영어·중국어·아랍어 등 다양한 언어 입력을 처리할 수 있다. README의 metadata와 태그에서 en·zh·arxiv 식별자가 확인되어 다언어 모델로 배포되었음을 시사한다. 이로 인해 다국어 문서 처리와 국제적 데이터셋 적용이 가능하다.
• 로컬 서빙을 위한 vLLM, SGLang, Transformers 등 여러 추론 프레임워크 호환성을 제공하여 다양한 인프라에서 배포가 가능하다. 프레임워크별 cookbook 및 recipes 문서가 제공되어 실무 환경에서 직접 배포·튜닝이 수월하다. Ascend NPU와 같은 특수 하드웨어 환경으로의 포팅 가이드도 포함되어 있다.

강점

• 1M 토큰의 안정적 장문 컨텍스트 지원이 모델의 핵심 강점이다. 장기 문맥 유지 능력은 대규모 문서 처리와 복합 워크플로에서 실질적 가치로 이어진다. IndexShare와 sparse attention 조합으로 컨텍스트 확장 시 연산 비용을 낮춘 점이 경쟁 우위로 작용한다.
• 실전형 벤치에서 경쟁력 있는 점수를 기록한 점이 눈에 띈다. Terminal-Bench 2.1에서 81.0점을 기록했으며 ProgramBench에서도 63.7점으로 실무적 코드·시스템 과제에서 신뢰할 만한 성능을 보였다. 도구 사용 환경에서의 HLE(w/ Tools) 점수는 54.7로 도구 연동 성능을 증명했다.
• MIT 라이선스로 배포되어 자유로운 사용과 배포가 가능하다는 점이 산업 적용에서의 장점이다. 다양한 추론 프레임워크와 하드웨어 가이드가 제공되어 실무 도입 시 이식성이 높다. 오픈 소스 생태계에서 커뮤니티 기여와 확장이 용이하다.

훈련 방식

GLM-5.2는 GLM-5 계열의 연장선상에서 개발되었으며, sparse attention 설계와 인덱서 재사용(IndexShare)을 통해 장문 처리 효율을 개선한 아키텍처 중심 접근을 채택했다. README와 메타데이터에는 MoE/DSA 연관 태그가 포함되어 있어 mixture-of-experts 및 dynamic sparse attention 계열 설계가 활용되었을 가능성이 제시된다. 공개 리포지토리와 기술보고서를 통해 아키텍처 수준의 변경과 추론 효율화가 훈련 및 설계 목표로 반영되었음이 확인된다.

알아두면 좋은 것

• GLM-5.2는 1M 토큰의 'solid' 컨텍스트를 안정적으로 유지한다고 명시되어 있으며, 해당 컨텍스트 수준은 long-horizon 작업의 핵심 목표로 제시되었다. 장문 평가를 위해 다양한 벤치와 최대 생성 길이 설정이 README에 상세히 기술되었다. 모델은 평가에서 Terminal-Bench 81.0, ProgramBench 63.7 등의 수치를 보고했다.
• IndexShare라는 새로운 아키텍처 요소를 도입하여 동일한 인덱서를 네 개의 sparse attention 레이어마다 재사용함으로써 1M 컨텍스트에서 토큰당 FLOPs를 2.9배 줄였다고 보고되었다. 이 수치는 대용량 문맥에서의 연산 효율성 개선을 수치적으로 보여준다. 추가로 MTP 레이어를 개선하여 speculative decoding의 acceptance length를 최대 20% 증가시켰다.
• 평가 재현성을 위해 각 벤치별로 온도·top_p·max_new_tokens 등 샘플링 파라미터와 컨텍스트 길이를 구체적으로 기술했다. HLE와 SWE-Bench Pro, NL2Repo 등 주요 벤치에 대한 실행 설정과 리소스 제한이 부록에 제시되어 실험 조건 비교가 가능하다. 일부 벤치는 도구 사용 시 별도의 컨텍스트 최대치나 출력 토큰 제한을 적용했다.
• 배포 측면에서 MIT 라이선스로 공개되어 상업적 사용과 지역 제한 없이 활용이 가능하다. 다양한 추론 프레임워크(vLLM, SGLang, Transformers, KTransformers 등)와의 호환 가이드가 포함되어 있어 실무 배포 선택지가 넓다. Ascend NPU 등 특수 하드웨어용 가이드도 README에 포함되어 있다.

기술적 특징

• Solid 1M-token 컨텍스트를 제공한다. 모델은 1,000,000 토큰 단위의 장문 문맥을 안정적으로 유지하도록 설계되었으며 장기 추적 작업에서 문맥 소실을 줄였다. README와 평가 설정에서 대규모 컨텍스트 실험이 반복적으로 사용되어 장문 성능 목표가 일관되게 반영되었다.
• IndexShare 아키텍처를 도입하여 동일 인덱서를 네 개의 sparse attention 레이어마다 재사용한다. 이 설계는 레이어별 인덱서 재생성을 생략함으로써 토큰당 FLOPs를 1M 컨텍스트에서 2.9배 감소시켰다. 결과적으로 장문에서의 연산 비용과 메모리 부담이 크게 줄어들어 실무 배포 비용을 낮추는 효과가 발생한다.
• MTP 레이어를 개선하여 speculative decoding의 acceptance length를 최대 20% 늘렸다. 이 변경은 추론 과정에서 미리 생성한 후보 토큰의 수용 비율을 높여 전체 추론 지연과 연산을 줄이는 방향으로 작동한다. 실전 응답에서 더 많은 후보를 안전하게 수용함으로써 품질을 유지하면서 레이턴시를 낮출 수 있었다.
• 코딩·추론 작업에서 'Flexible Effort' 설정을 도입해 성능과 지연의 트레이드오프를 조절할 수 있게 했다. 사용자는 사고 노력 수준을 높여 더 많은 계산을 투입할지, 낮춰 응답을 빠르게 할지를 선택할 수 있다. 이로 인해 동일 아키텍처에서 응용별로 품질·지연 요구를 맞추기 수월해졌다.

차별점

• 1M 토큰 수준의 안정적 컨텍스트를 명시적으로 목표로 설계하고 평가한 점이 차별화 요소이다. 많은 LLM이 수만~수십만 토큰을 목표로 하는 상황에서 GLM-5.2는 백만 토큰 단위를 일관되게 지원하도록 아키텍처적 보완을 가했다. 이로 인해 장문 작업에서의 적용 범위가 확장되었다.
• IndexShare를 통한 인덱서 재사용 설계가 실질적인 연산 절감으로 이어진다. 네 개 레이어마다 동일 인덱서를 공유하는 방식은 sparse attention의 오버헤드를 줄여 대규모 컨텍스트에서 효율을 확보했다. README에 제시된 2.9배 FLOPs 감소 수치가 이 차별점을 수치로 뒷받침한다.
• MTP 레이어 기반의 speculative decoding 수용 길이 증대는 추론 효율화를 위한 실용적 개입이다. acceptance length를 최대 20% 늘리는 설계 변경은 실제 응답 지연과 비용을 낮추는 방향으로 작동한다. 이 기법은 대량 생성 작업에서 응답 속도와 비용 절감에 기여한다.
• MIT 라이선스 공개와 다중 추론 프레임워크 호환성은 상업적·연구적 활용의 문턱을 낮춘다. vLLM, SGLang, Transformers 등과의 호환성을 문서로 제공하여 배포 옵션을 다양화했다. 특수 하드웨어(Ascend NPU) 지원 가이드까지 포함해 실무 도입 장벽을 추가로 낮췄다.

벤치마크

이미지 분석