GLM-5: From Vibe Coding to Agentic Engineering
핵심 포인트
- 1GLM-5는 744B 파라미터와 28.5T 토큰으로 확장되었으며, DeepSeek Sparse Attention 및 효율적인 RL 인프라 'slime'을 통합하여 출시되었습니다.
- 2복잡한 시스템 엔지니어링 및 장기 Agentic 작업을 목표로 하는 GLM-5는 광범위한 벤치마크에서 GLM-4.7 대비 상당한 개선을 보이며 오픈소스 모델 중 최고 수준의 성능을 달성했습니다.
- 3이 모델은 Hugging Face 및 Z.ai 등에서 접근 가능하며, .docx, .pdf, .xlsx 파일 생성과 같은 Office 도구와 유사한 기능을 제공하여 실제 deliverables를 직접 만들어낼 수 있습니다.
GLM-5는 복잡한 시스템 엔지니어링 및 장기적인 Agentic task를 목표로 개발된 모델입니다. GLM-4.5의 후속 모델로서, 이전 모델 대비 지능 효율성을 크게 향상시켰습니다.
핵심 방법론 (Core Methodology):
- Scaling:
- GLM-4.5의 355B 파라미터(32B active)에서 744B 파라미터(40B active)로 모델 규모를 확장했습니다.
- 사전 학습 데이터는 23T 토큰에서 28.5T 토큰으로 증가했습니다.
- Attention 메커니즘 개선 (Architectural Improvement):
- DeepSeek Sparse Attention (DSA)을 통합하여 긴 Context 용량을 유지하면서 배포 비용을 크게 절감했습니다. 이는 Attention 계산의 희소성을 활용하여 메모리 사용량과 계산 복잡도를 줄이는 방식입니다.
- 비동기 강화 학습 인프라 (Post-training Improvement):
- RL(Reinforcement Learning) 훈련 비효율성이라는 LLM 스케일 배포의 어려움을 해결하기 위해 새로운 비동기 RL 인프라인
slime을 개발했습니다. slime은 훈련 처리량과 효율성을 크게 개선하여, 보다 세밀한 Post-training 반복을 가능하게 합니다. 이는 모델이 실제 환경에서 더 잘 작동하도록 미세 조정하는 데 필수적인 부분입니다.
- RL(Reinforcement Learning) 훈련 비효율성이라는 LLM 스케일 배포의 어려움을 해결하기 위해 새로운 비동기 RL 인프라인
성능 (Performance):
GLM-5는 사전 학습 및 Post-training의 발전을 통해 광범위한 학술 벤치마크에서 GLM-4.7 대비 상당한 개선을 이루었으며, Reasoning, Coding 및 Agentic task에서 Open-source 모델 중 최고의 성능을 달성하여 Frontier 모델과의 격차를 좁혔습니다.
- 내부 평가: CC-Bench-V2에서 GLM-4.7을 크게 능가하며 Claude Opus 4.5와의 격차를 좁혔습니다.
- 장기 운영 능력: Vending Bench 2 벤치마크에서 Open-source 모델 중 1위를 기록했습니다. 1년간의 가상 자동판매기 사업을 시뮬레이션하여 4,967.06에 근접하여 강력한 장기 계획 및 자원 관리 능력을 보여주었습니다.
벤치마크 상세 (Benchmark Details):
- Reasoning: Humanity's Last Exam (Tools 포함 50.4), HMMT Nov. 2025 (96.9) 등에서 높은 성능을 보였습니다.
- Coding: SWE-bench Verified (77.8), SWE-bench Multilingual (73.3)에서 경쟁력 있는 결과를 나타냈습니다.
- Agentic Tasks: BrowseComp w/ Context Manage (75.9), τ²-Bench (89.7) 등에서 우수하며, 특히 Vending Bench 2 ($4,432.12)에서 Open-source 모델 중 가장 뛰어난 장기 Agentic 역량을 입증했습니다.
응용 분야 및 기능 (Applications and Features):
GLM-5는 "Chat"에서 "Work"로의 Office Foundation Model의 진화를 대표하며, 복잡한 시스템 엔지니어링 및 장기 Agent 역량을 강화합니다. 텍스트 또는 Source Material을 직접 .docx, .pdf, .xlsx 파일(예: PRD, Lesson Plan, 시험, 스프레드시트, 재무 보고서 등)로 변환하여 End-to-end로 사용 가능한 문서를 제공합니다. 공식 애플리케이션 Z.ai의 Agent 모드는 PDF/Word/Excel 생성 기능을 포함하며, Multi-turn 협업 및 결과물을 실제 Deliverable로 전환하는 것을 지원합니다.
가용성 (Availability):
GLM-5는 Hugging Face 및 ModelScope에 Open-source로 모델 Weight가 MIT 라이선스 하에 공개되었습니다. api.z.ai 및 BigModel.cn 개발자 플랫폼에서도 사용할 수 있으며, Claude Code 및 OpenClaw와 호환됩니다. Z.ai에서 무료로 체험할 수 있습니다. 로컬 배포를 위해 vLLM 및 SGLang과 같은 Inference Framework를 지원하며, NVIDIA 이외의 칩(Huawei Ascend, Moore Threads 등)에서도 최적화된 Kernel 및 Model Quantization을 통해 합리적인 Throughput을 달성할 수 있습니다.