Modal에서 새로운 오픈 파운데이션 모델 GLM-5 사용하기

섹션별 상세

GLM-5는 장기 작업 수행 능력이 뛰어난 오픈 가중치 기반의 파운데이션 모델이다. MIT 라이선스로 배포되어 상용 모델인 Claude 4.6이나 GPT 5.3 Codex와 유사한 수준의 복잡한 시스템 개발 업무를 지원한다. DeepSeek-R1 이후 오픈 모델의 성능이 급격히 향상되었음을 입증하는 사례로 평가받는다.

GLM-5의 주요 벤치마크 성능 비교 차트 — ChartGLM-5 모델이 기존 상용 모델 및 다른 오픈 모델들과 비교하여 어느 정도의 성능을 내는지 수치로 보여준다. 특히 시스템 엔지니어링과 장기 작업 관련 지표에서 경쟁 우위를 점하고 있음을 시각화하여 모델의 실질적인 가치를 입증한다.

8비트 부동 소수점 정밀도에서 약 700GB에 달하는 모델 크기를 관리하기 위해 고도화된 추론 기법을 적용한다. MLP 블록의 MoE(Mixture-of-Experts) 구조와 DeepSeek Sparse Attention 변형 기술을 통해 메모리 대역폭 요구 사항과 연산 복잡도를 줄인다. Modal은 MoE 레이어에는 텐서 병렬 처리를, 어텐션 레이어에는 데이터 병렬 처리를 적용하여 최적의 성능을 구현했다.

Modal은 4월 말까지 GLM-5 모델을 무료로 체험할 수 있는 API 엔드포인트를 제공한다. 이 엔드포인트는 OpenAI API와 호환되며, B200 GPU 8개로 구성된 단일 노드에서 SGLang을 통해 구동된다. 사용자당 초당 30~75개의 토큰 생성 속도를 유지하며 코딩 에이전트와 같은 개인용 도구 활용에 적합하도록 설계되었다.

다양한 오픈소스 코딩 에이전트 프레임워크와의 연동이 가능하다. OpenCode와 OpenClaw는 설정 파일에 Modal 엔드포인트 정보를 추가하는 것만으로 즉시 사용 가능하며, Claude Code의 경우 LiteLLM 게이트웨이를 프록시로 활용하여 연결할 수 있다. JavaScript 환경에서는 Vercel AI SDK를 통해 OpenAICompatible 프로바이더 형식으로 통합된다.

json

{
  "providers": {
    "modal": {
      "api_base": "https://api.modal.com/v1",
      "api_key": "YOUR_MODAL_TOKEN",
      "model": "glm-5"
    }
  }
}

OpenCode 설정 파일(opencode.json)에 Modal GLM-5 엔드포인트를 추가하는 예시

javascript

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';

const modal = createOpenAICompatible({
  name: 'modal',
  baseURL: 'https://api.modal.com/v1',
  apiKey: process.env.MODAL_TOKEN,
});

const model = modal.chatModel('glm-5');

Vercel AI SDK를 사용하여 Modal에서 호스팅되는 GLM-5 모델을 호출하는 예시

용어 해설

전문가 혼합(MoE): — 모델의 전체 파라미터 중 일부만 활성화하여 연산 효율성을 높이는 아키텍처이다. GLM-5와 같은 거대 모델에서 메모리 대역폭 부담을 줄이고 추론 속도를 개선하는 데 핵심적인 역할을 한다.
희소 어텐션(Sparse Attention): — 모든 토큰 간의 관계를 계산하는 대신 중요한 토큰만 선택적으로 처리하는 기법이다. 시퀀스 길이가 길어질 때 발생하는 연산량의 기하급수적 증가를 억제하여 긴 컨텍스트 처리를 가능하게 한다.
텐서 병렬 처리(Tensor Parallelism): — 단일 GPU 메모리에 담을 수 없는 거대 모델의 가중치를 여러 GPU에 분산하여 계산하는 방식이다. GLM-5처럼 700GB에 달하는 모델을 고성능으로 추론하기 위해 필수적으로 사용된다.
장기 작업(Long-horizon Task): — 단순한 질의응답을 넘어 복잡한 단계를 거쳐 목표를 달성해야 하는 긴 호흡의 업무를 의미한다. 시스템 엔지니어링이나 대규모 코드베이스 리팩터링 등이 이에 해당하며 높은 수준의 추론 능력이 요구된다.
오픈 가중치(Open Weights): — 모델의 학습된 가중치를 공개하여 누구나 자신의 인프라에 내려받아 실행할 수 있게 한 모델 형태이다. 상용 API에 의존하지 않고 독립적인 서비스 구축이 가능하다는 장점이 있다.

기술

GLM-5
Modal
SGLang
vLLM
Vercel AI SDK
LiteLLM

활용 사례

시스템 엔지니어링 자동화
장기 작업 코딩 에이전트
복잡한 코드베이스 분석 및 수정

언급된 리소스

문서Z.ai GLM-5 Blog Post

GitHubModal GLM-5 Deployment Code

Modal에서 새로운 오픈 파운데이션 모델 GLM-5 사용하기

섹션별 상세

용어 해설

기술

활용 사례

언급된 리소스

관련 토론

댓글

관련 기사

GLM-5.3-Flash: 고성능 멀티모달 기능을 갖춘 새로운 오픈소스 모델.

GLM-5.3 성능 경쟁, 저비용 코딩 모델, 로컬 에이전트 메모리

Nvidia, Hugging Face 130억 달러 인수

100만 토큰 컨텍스트 지원 GLM-5.2 모델의 Fireworks AI 활용법