TL;DR

이 모델은 ZAI의 GLM-5.2 기반 체크포인트를 NVIDIA의 Model Optimizer v0.46.0으로 NVFP4 4비트 양자화해 배포한 추론용 릴리스이다. 핵심 설계는 MoE(GlmMoeDsaForCausalLM) 아키텍처와 sparse attention + IndexShare 인덱서의 조합으로 긴 문맥(최대 1M)을 처리하도록 구성되었고, 양자화는 MoE 전문가의 선형 연산자만 대상으로 적용해 정밀도 손실을 최소화하려는 전략을 취했다. 공개된 벤치마크에서는 NVFP4 점수가 FP8 baseline과 근접하게 유지되어 양자화된 상태로도 실무적 추론 성능을 확보했으며 SGLang와 vLLM에서 실행 가능한 배포 예시와 NVIDIA Blackwell 호환성 정보가 함께 제공되었다. 다만 원본 학습 데이터에 포함된 독성·편향 가능성과 일부 훈련·테스트 데이터의 수집·라벨링 상세가 공개되지 않은 점은 배포 전 별도의 안전성·검증 절차가 필요함을 의미한다.

핵심 포인트

• Model Optimizer v0.46.0을 사용한 NVFP4 4비트 양자화 방식이 이 릴리스의 핵심 차별점이다. MoE 전문가의 선형 연산자만 양자화하고 공유 전문가는 제외하는 선택으로 정밀도를 보호하면서 추론 효율을 높이는 설계적 절충을 취했다. 이 접근 방식은 단순 전 모델 양자화보다 정밀도 유지에 유리한 실전 지향의 양자화 전략을 보여준다.
• GLM-5.2 아키텍처는 sparse attention과 IndexShare 인덱서를 결합해 최대 1M 토큰의 긴 컨텍스트를 다룰 수 있도록 설계되었다는 점이 구체적 차별화 요소다. 긴 문맥에서 관련 토큰만 선택적으로 처리함으로써 메모리와 연산을 제어하는 한편 장문 질의응답과 장문 문서 처리 능력을 확보했다. 이러한 긴 컨텍스트 지원은 표준 Transformer보다 더 큰 입력 범위를 다루어야 하는 응용에 유리하다.
• SGLang와 vLLM을 통한 공식적인 런타임 예시와 NVIDIA Blackwell 호환성 표기는 배포·운영 관점에서 실전 사용성을 높인다. 컨테이너 이미지, transformers 최소 버전, 권장 튜닝 파라미터들이 명확히 제공되어 운영 환경으로의 이식성이 개선되었다. 이로 인해 엔터프라이즈 배포 시 초기 환경 구성 비용과 시행착오를 줄일 수 있다.
• NVFP4 양자화에도 불구하고 공개된 벤치마크 점수는 baseline인 FP8과 매우 근접하게 유지되었다. README의 표에서 GPQA, IFBench, AA-LCR, τ²-Bench Telecom 등 주요 항목에서 NVFP4 점수는 FP8 대비 유의미한 손실 없이 유사한 성능을 보였다. 이 점은 실전 추론 환경에서 양자화를 통한 자원 절약이 가능함을 시사한다.

벤치마크