《MetaX sGPU × HAMi：细粒度 GPU 共享与云原生调度的协同落地》— 郭磊

作为一个活跃的开源项目，HAMi 由来自 15+ 国家、350+ 贡献者共同维护，已被 200+ 企业与机构在实际生产环境中采纳，具备良好的可扩展性与支持保障。

随着 AI 模型训练和推理任务持续向云原生环境迁移，GPU 的“碎片化问题”开始成为资源利用率的最大障碍。在传统整卡资源分配方式下，越来越多的企业发现 GPU 的真实利用率远低于硬件能力本身。来自沐曦股份的云原生基础架构专家 & MetaX sGPU 核心贡献者郭磊在本次分享中，从架构、切分、调度到 QoS 策略，系统讲解了 MetaX sGPU 在 HAMi 社区的落地过程，并展示了其如何帮助开发者在 Kubernetes 体系内获得可共享、可调度、可精细控制的 GPU 服务。

01 痛点挑战

在典型的 AI 推理或训练场景中，GPU 往往无法被真正“吃满”。某些任务只需要 20% 的算力、4GB 的显存，却被迫占据整张卡；某些任务对延迟敏感，需要固定、可预测的资源，但传统 GPU 调度无法主动保障；某些离线任务可被挤压，但在整卡分配模式下仍会意外独占整卡，降低整体利用率。结果就是：GPU 的平均利用率长期低于 40%，业务峰谷波动极大，企业耗费大量成本却无法将算力价值最大化。同时，随着国产 GPU 大规模进入企业集群，算力分配、算力隔离、显存切片、抢占逻辑等能力亟需标准化接口，否则不同硬件之间的行为不一致，会导致上层业务无法形成统一抽象。

02 解决方案

MetaX sGPU 的核心理念，是将 GPU 资源拆解为更加细致、更加可编排的计算单元，通过 HAMi 的调度体系在 Kubernetes 中以一致的方式向上层业务暴露。郭磊指出，sGPU 的基础能力包括两大核心抽象：显存切分（vmemory）与 算力切分（vcore），其中在支持的设备上，显存最小可到 MB 级，算力可按 1% 粒度切分，使得用户能够精准描述自己的资源需求。例如，一个轻量级推理任务可以只申请“60% 算力 + 4GB 显存”，无需占满整张 GPU 卡，实现比传统 GPU 管理方式更精细的资源利用率。

这一细粒度能力并不是简单的设备层切片，而是由 MetaX device plugin、HAMi scheduler 与底层 sGPU driver共同协作完成。device plugin 负责公布节点上可供切分的资源单元，并将卡级的“可用算力、可用显存、最大实例数量”等状态上报给 Kubernetes；HAMi 的 scheduler 在此基础上加入了对“节点级 / GPU 级的 binpack 与 spread 策略”的支持，既能让任务尽可能堆叠在同张卡上提升利用率，也能根据业务要求将任务均匀打散在卡之间以避免互相干扰。对业务来说，这两层策略相互组合，意味着一套声明式接口就能表达“高密度利用”与“高可用隔离”的不同需求。

更进一步的是，sGPU 构建了一套完整的 QoS 策略。best effort 模式允许任务在空闲时使用整卡算力，适合轻量型在线推理；fixed share 则提供强配额保证，使得任务使用多少即获得多少，适合可预测负载；burst share 则结合两者优点，在基础配额之上允许任务“弹性借用”空闲算力。

拓扑感知调度则在整卡场景中发挥重要作用。在沐曦 GPU 的架构中，多卡之间通过 MetaLink 等高速互连连接，链路拓扑直接影响训练和推理性能。HAMi 调度器通过卡级拓扑发现能力，使双卡任务可以优先调度到链路最佳的 GPU 组合，而四卡任务则被调度到保留的“高带宽分组”中，从而确保业务性能最大化。整个 sGPU × HAMi 的整合体系本质上是将硬件能力通过标准接口暴露给 Kubernetes，并结合 HAMi 的调度策略实现灵活、可控、可编排的 GPU 共享。

03 落地实践

在真实生产环境中，MetaX sGPU 与 HAMi 的整合已在多个企业场景中验证了其高稳定性与高收益性。在推理场景中，许多企业希望在有限 GPU 数量下服务更高 QPS 的请求。通过将原本单卡运行的推理模型拆解为多个轻量实例，并使用“20%–40% 算力 + 2–8GB 显存”的配置运行，资源被高度压缩在同一张卡上，使得 GPU 的总体利用率大幅提高。这种“切片复用”使得每张 GPU 的价值被显著放大，让企业可以用更少的硬件支撑更多业务。

在训练与强化学习场景中，sGPU 的在离线混部策略开始展现差异化优势。例如，在线推理任务需要低延迟，而离线训练任务允许被暂停或挤压。当资源吃紧时，sGPU driver 会自动暂停低优先级的离线任务，将算力优先让给在线任务。这种行为在传统的 GPU 虚拟化体系中难以实现，而在 HAMi × sGPU 的组合中，用户只需在 Pod 中声明在离线属性，系统即可在同卡或同节点内实现算力级的优先级调度和按需抢占。

拓扑感知调度在大模型推理和大 batch 训练场景中也取得了显著效果。以 8 卡分布式训练为例，在传统调度体系下任务可能随机落在任意组合上，而 sGPU × HAMi 能够自动识别互连最佳的四卡或八卡拓扑，避免了跨组通信带宽不足的问题，使整体训练时间缩短 10%–20%。这类收益完全来自调度层，而无需对模型或框架做额外修改。

郭磊总结道，MetaX sGPU 在 HAMi 上的成功落地，不仅意味着沐曦 GPU 自身可以在云原生体系内以一致方式被使用，更重要的是，sGPU 与 HAMi 的融合开启了“可共享、可切分、可调度”的 GPU 资源新范式，让国产 GPU 与国际 GPU 在同一资源抽象下运行成为现实。这为整个生态带来了巨大的扩展空间。

04 结语

MetaX sGPU 在 HAMi 社区的落地，是国产 GPU 能力与云原生调度技术相互成就的重要合作。沐曦以 sGPU 构建细粒度、可编排的算力接口，HAMi 提供统一而稳健的调度框架，使 GPU 从硬件资源走向可共享、可运营的云原生能力。这一模式不仅拓展了国产 GPU 的应用空间，也为 HAMi 构建跨芯片的调度标准奠定基础。