챕터별 상세
00:00
GLM-5 개요 및 벤치마크 성능 분석
GLM-5는 이전 버전인 GLM-4.5 대비 비약적인 성능 향상을 이루었으며 주요 오픈소스 모델 리더보드에서 최상위권을 기록했다. 특히 인공지능 지수(Artificial Analysis Intelligence Index)에서 10가지 평가 항목을 종합했을 때 클로즈드 소스 모델인 Claude 3.5 Sonnet이나 Gemini 1.5 Pro와 대등한 수준의 성능을 보여주었다. 이는 모델의 규모 확장뿐만 아니라 아키텍처와 학습 파이프라인의 근본적인 개선이 뒷받침된 결과이다.
01:10
DSA(DeepSeek Sparse Attention) 아키텍처의 도입
GLM-5 아키텍처의 핵심 변화는 DSA(DeepSeek Sparse Attention)의 채택이다. 기존의 고정된 어텐션 방식과 달리 인덱서를 사용하여 모델이 연산 시 주목해야 할 과거 토큰을 선택적으로 결정함으로써 토큰 처리 효율성을 획기적으로 높였다. 이를 통해 모델 크기를 최대 7,000억 개의 파라미터까지 확장할 수 있었으며 학습 시 토큰 예산 배분을 최적화하여 성능을 극대화했다.
02:30
다단계 학습 파이프라인: Pre-training에서 Post-training까지
GLM-5의 학습은 일반 코퍼스를 활용한 Pre-training, 문맥 길이를 단계적으로 확장하는 Mid-training, 그리고 에이전틱 능력을 주입하는 Post-training의 3단계로 구성된다. Mid-training 과정에서는 4K에서 시작하여 32K를 거쳐 최종적으로 200K까지 문맥 길이를 확장하며 긴 문맥 이해도를 높였다. Post-training에서는 SFT 이후 추론(Reasoning), 에이전틱(Agentic), 일반(General) 강화학습을 순차적으로 진행하여 복잡한 작업 수행 능력을 강화했다.
04:30
치명적 망각 방지를 위한 On-Policy Cross-Stage Distillation
강화학습의 각 단계에서 새로운 능력을 배울 때 기존 능력이 저하되는 '치명적 망각' 문제를 해결하기 위해 On-Policy Cross-Stage Distillation 기법을 적용했다. 이는 이전 단계의 체크포인트 모델을 교사 모델로 설정하고 현재 학습 중인 모델이 교사 모델의 로짓(Logits)을 따라가도록 유도하는 방식이다. 결과적으로 추론 능력을 강화하면서도 일반적인 대화나 지식 능력을 안정적으로 유지하는 데 성공했다.
09:30
에이전틱 능력을 위한 세 가지 사고 모드(Thinking Modes)
GLM-5는 작업의 복잡도에 따라 세 가지 사고 모드를 지원하도록 설계되었다. 도구 호출 전후에 사고 과정을 포함하는 'Interleaved Thinking', 코딩 시 이전의 사고 과정을 유지하는 'Preserved Thinking', 그리고 가벼운 작업을 위한 'Turn-level Thinking'이 그것이다. 이러한 구조는 모델이 복잡한 코딩 시나리오나 다단계 도구 사용 시 일관성을 유지하고 오류를 스스로 수정할 수 있게 한다.
13:00
RL 인프라 'Slime'과 추론 최적화 기법
대규모 강화학습을 효율적으로 수행하기 위해 'Slime'이라는 비동기 강화학습 프레임워크를 개발했다. 이 시스템은 학습기와 생성기를 분리하여 GPU 자원 활용도를 극대화하며 복잡한 롤아웃 로직을 유연하게 처리한다. 또한 추론 속도를 높이기 위해 FP8 양자화와 Multi-Token Prediction(MTP)을 적용했으며 특히 MTP를 통해 한 번에 3개의 토큰을 예측함으로써 긴 문장 생성 시 지연 시간을 대폭 단축했다.
31:00
중국 칩 인프라 적응 및 하드웨어 최적화
GLM-5는 중국 내 다양한 하드웨어 환경(Ascend NPU 등)에서 최적으로 작동하도록 커스텀 커널을 개발하고 최적화했다. DSA 아키텍처의 병목 현상을 해결하기 위해 Lightning Indexer와 같은 전용 커널을 설계했으며 하드웨어 특성에 맞춘 혼합 정밀도 학습 전략을 사용했다. 이는 특정 하드웨어 제약 하에서도 글로벌 수준의 모델 성능을 뽑아낼 수 있음을 증명한 사례이다.
용어 해설
- 딥시크 희소 어텐션(DeepSeek Sparse Attention)
- — 고정된 어텐션 메커니즘 대신 인덱서를 사용하여 모델이 주목해야 할 과거 토큰을 동적으로 선택하는 기법이다. 이를 통해 연산 효율성을 대폭 높이면서도 긴 문맥 이해 능력을 유지할 수 있어 대규모 모델 학습에 필수적이다.
- 온폴리시 단계 간 증류(On-Policy Cross-Stage Distillation)
- — 강화학습의 각 단계에서 이전 단계의 모델을 교사 모델로 활용하여 현재 학습 중인 모델에 지식을 전달하는 기법이다. 새로운 능력을 학습할 때 기존에 습득한 지식을 잃어버리는 치명적 망각 현상을 방지하는 데 중요한 역할을 한다.
- 다중 토큰 예측(Multi-Token Prediction)
- — 한 번에 다음 하나의 토큰만 예측하는 대신 여러 개의 토큰을 동시에 예측하도록 모델을 학습시키는 기법이다. 추론 속도를 향상시킬 뿐만 아니라 모델이 문장의 전체적인 구조와 계획을 더 잘 파악하게 도와준다.
- 에이전틱 엔지니어링(Agentic Engineering)
- — 단순히 프롬프트에 따라 텍스트를 생성하는 수준을 넘어 AI가 스스로 도구를 사용하고 계획을 수립하며 오류를 수정하는 자율적 문제 해결 과정을 의미한다. 인간의 개입을 최소화하고 AI가 엔지니어링 작업을 주도하는 단계를 지향한다.
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 02. 21.수집 2026. 02. 21.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.