0day首发!基于昇腾MindSpeed LLM玩转GLM-4.5-Air最新MoE模型
GLM-4.5已上线魔乐社区,欢迎下载体验!
2025年7月28日,智谱开源发布了新⼀代旗舰模型GLM-4.5,这是智谱专为智能体应⽤打造的基础模型,模型权重遵循 MIT License。模型亮点如下:
• GLM-4.5 在包含推理、代码、智能体的综合能力达到开源 SOTA 水平,在真实代码智能体的人工对比评测中,实测国内最佳;
• 采用混合专家(MoE)架构,包括 GLM-4.5:总参数量 3550 亿,激活参数 320 亿;GLM-4.5-Air:总参数 1060 亿,激活参数 120 亿;
• 两种模式:用于复杂推理和工具使用的思考模式,及用于即时响应的非思考模式;
• 高速、低成本:API 调用价格低至输入 0.8 元/百万tokens、输出 2 元/百万tokens;高速版最高可达 100 tokens/秒。
MindSpeed LLM在当日实现了对GLM-4.5-Air模型的无缝支持,并同步开放源代码,目前不仅支持在线推理功能,还提供了基于GLM-4.5-Air的预训练实践参考。作为昇腾大模型套件,MindSpeed LLM作为昇腾AI生态的重要技术支撑,专为大规模语言模型设计,具有超强的计算能力和灵活的开发支持。该系列模型已上线魔乐社区,欢迎下载体验!
🔗模型链接:https://modelers.cn/models/MindSpeed/GLM-4.5-Air
01
模型介绍
衡量AGI的第⼀性原理,是在不损失原有能⼒的前提下融合更多通⽤智能能⼒,GLM-4.5是智谱对此理念的⾸次完整呈现。GLM-4.5 首次在单个模型中实现将推理、编码和智能体能力原生融合,以满足智能体应用的复杂需求。
在最具代表性的12个benchmark⸺MMLU Pro、AIME24、MATH 500、SciCode、GPQA 、HLE、LiveCodeBench、SWE-Bench Verified、Terminal-Bench、TAU-Bench、BFCL v3和 BrowseComp的通⽤能⼒综合评测中,GLM-4.5的总和平均分位列全球模型第三、国产模型第一,开源模型第一。
GLM-4.5 和 GLM-4.5-Air 使用了相似的训练流程:首先在 15 万亿 token 的通用数据上进行了预训练,此后在代码、推理、智能体等领域的 8 万亿 token 数据上进行针对性训练,最后通过强化学习进一步增强模型推理、代码与智能体能力。
GLM-4.5 参数量为 DeepSeek-R1 的 1/2、Kimi-K2 的 1/3,但在多项标准基准测试中表现得更为出色,这得益于 GLM 模型的更高参数效率。
GLM-4.5系列原⽣具备在前端编写⽹站、在后端管理数据库,以及通过⼯具调⽤接⼝⽀持任意智能体应⽤等能⼒,能够胜任全栈开发任务,编写较为复杂的应⽤、游戏、交互⽹⻚。
接下来,让我们来体验一下模型的强大效果。
场景1: 一个真的能发弹幕的B站
>>> Prompt: 开发一个包含 UI 的 bilibili 网页端 Demo,页面包括:首页与视频详情页。首页需还原 bilibili 首页的主要设计元素,如顶部导航栏、横幅轮播、推荐视频瀑布流布局、hover 时播放预览、视频封面与标题展示等基础交互。详情页需展示视频标题、UP 主信息、播放区域(支持点击播放/暂停、切换全屏)、预设弹幕(可滚动)、评论区(展示预置评论并支持展开/收起)。视频素材可从 Google/B 站公开视频中挑选,封面图、标题与弹幕内容需根据所选视频内容拟定,保持风格一致。无需支持真实播放,仅需模拟播放行为与基础交互。整体风格参考 bilibili 现有布局,适配 PC 浏览器展示。
场景2: Flappy Bird 小游戏
>>> Prompt:Build a webpage using Three.js and JavaScript that creates a 3D world displaying places I've visited, based on an array. Clicking markers on the 3D globe will animate a zoom effect and open detailed trip information with photos.
以下为基于MindSpeed LLM的GLM-4.5-Air手把手部署推理教程。
02
环境安装
• 硬件要求
GLM-4.5-Air的参考硬件配置如下,本文将以A2单机8卡推理,A3八机64卡预训练为例进行介绍:
类型 |
硬件 |
配置 |
推理 |
NPU |
8 x Ascend NPUs |
训练 |
NPU |
64 x Ascend NPUs(A3) |
• MindSpeed LLM仓库部署
MindSpeed LLM的主要依赖配套如下表,安装步骤参考安装指导(🔗https://gitee.com/ascend/MindSpeed-LLM/blob/master/docs/pytorch/install_guide.md)
依赖软件 |
版本 |
昇腾NPU驱动 |
商发版本 |
昇腾NPU固件 |
|
CANN Toolkit(开发套件) |
商发版本 |
CANN Kernel(算子包) |
|
CANN NNAL(Ascend Transformer Boost加速库) |
|
Python |
>=3.10 |
PyTorch |
2.6.0 |
torch_npu插件 |
2.6.0 |
apex |
商发版本 |
(1)仓库拉取
git clone https://gitee.com/ascend/MindSpeed-LLM.git
git clone https://github.com/NVIDIA/Megatron-LM.git
cd Megatron-LM
git checkout core_v0.12.1
cp -r megatron ../MindSpeed-LLM/
cd ..
cd MindSpeed-LLM
mkdir logs
mkdir dataset
mkdir ckpt
(2)环境搭建
torch npu 与 CANN包参考链接:安装包参考原文链接(🔗https://support.huawei.com/enterprise/zh/ascend-computing/cann-pid-251168373/software)
# python3.10
conda create -n test python=3.10
conda activate test
# 安装 torch 和 torch_npu,注意要选择对应python版本、x86或arm的torch、torch_npu及apex包
pip install torch-2.6.0-cp310-cp310m-manylinux2014_aarch64.whl
pip install torch_npu-2.6.0*-cp310-cp310m-linux_aarch64.whl
# apex for Ascend 参考 https://gitee.com/ascend/apex
# 建议从原仓编译安装
# 安装加速库
git clone https://gitee.com/ascend/MindSpeed.git
cd MindSpeed
# checkout commit from MindSpeed master in 2025.06.18
git checkout 5d9464d2
pip install -r requirements.txt
pip3 install -e .
cd ../MindSpeed-LLM
# 安装其余依赖库
pip install -r requirements.txt
注意:
由于首发最新版本支持,要求transformers版本为4.54.0,用户需执行以下命令:
pip install transformers == 4.54.0
• 权重转换
(1)权重下载
从魔乐社区链接下载权重和配置文件。
https://modelers.cn/models/zhipuai/GLM-4.5-Air
(2)权重转换
MindSpeed LLM提供脚本将开源权重转换为mcore权重,用于训练、推理、评估等任务。
使用方法如下,请根据实际需要的TP/PP等切分策略和权重路径修改权重转换脚本
cd MindSpeed-LLM
bash examples/mcore/glm45-moe/ckpt_convert_glm45_moe_hf2mcore.sh
• 数据预处理
MindSpeed LLM提供脚本进行数据集处理
使用方法如下,请根据实际需要修改以下参数
cd MindSpeed-LLM
bash examples/mcore/glm45-moe/data_convert_glm45_moe_pretrain.sh
参数名 |
含义 |
--input |
数据集路径 |
--tokenizer-name-or-path |
模型tokenizer目录 |
--output-prefix |
数据集处理完的输出路径及前缀名 |
• 推理
cd MindSpeed-LLM
bash examples/mcore/glm45-moe/generate_glm45_moe_106b_ptd.sh
用户需要根据实际情况修改脚本中以下变量
变量名 |
含义 |
MASTER_ADDR |
多机情况下主节点IP |
NODE_RANK |
多机下,各机对应节点序号 |
TOKENIZER_PATH |
GLM-4.5-Air tokenizer目录 |
CHECKPOINT |
用于推理的权重路径,如无初始权重则随机初始化 |
TOKENIZER_PATH |
tokenizer目录 |
CKPT_LOAD_DIR |
权重转换保存的权重路径,为初始加载的权重,如无初始权重则随机初始化 |
• 训练
cd MindSpeed-LLM
bash examples/mcore/glm45-moe/pretrain_glm45_moe_106b_4k_A3_ptd.sh
用户需要根据实际情况修改脚本中以下变量
变量名 |
含义 |
MASTER_ADDR |
多机情况下主节点IP |
NODE_RANK |
多机下,各机对应节点序号 |
CKPT_SAVE_DIR |
训练中权重保存路径 |
DATA_PATH |
数据预处理后的数据路径 |
TOKENIZER_PATH |
GLM-4.5-Air tokenizer目录 |
CKPT_LOAD_DIR |
权重转换保存的权重路径,为初始加载的权重,如无初始权重则随机初始化 |
欢迎体验
欢迎大家下载体验GLM-4.5,也欢迎广大开发者在模型评论区留言交流!

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐
所有评论(0)