选择一个 HAMi 部署场景
HAMi 为受支持的厂商加速器栈增加共享、虚拟化和调度能力。当工作负载需要由 HAMi 管理设备分配时,请使用本页。
HAMi 具有以下能力和产品范围:
- HAMi Community 为 GPU、NPU 以及其他厂商加速器提供可扩展的后端,包括来自多个国产厂商的加速器。
- 此处记录的 Alauda 产品集成主要面向 NVIDIA GPU 和 Huawei Ascend NPU。
- 可用的加速器型号和分配模式取决于已安装的 Alauda 产品组合。请在 Compatibility 中确认当前范围。
不使用 HAMi 的直接分配
如果目标节点池只需要独占整卡分配,而不需要 HAMi 调度、切分或资源管理,则改用厂商的直接分配路径。
对于 Ascend NPU,请为该节点池保持启用 NPU Operator 原生 Ascend Device Plugin,并且不要在相同设备上启用 HAMi Ascend Device Plugin。请继续阅读 直接请求 Ascend NPU 资源。
选择一个 HAMi 场景
请选择与加速器后端以及工作负载所需分配行为相匹配的场景:
每个设备池仅一个 Device Plugin 负责人
在一个节点池中,同一物理设备只能由一个 Device Plugin 进行暴露和分配。
对于由 HAMi 管理的 Ascend 场景,请保留 NPU Operator Driver、OCI Runtime、ascend RuntimeClass 以及任何必需的 Exporter 组件,但禁用其原生 Ascend Device Plugin。对于整卡、硬切分和软切分工作负载,HAMi Ascend Device Plugin 将成为分配负责人。在创建由 HAMi 管理的工作负载之前,请先执行 切换 Ascend Device Plugin 负责人。