选择 Ascend NPU 分配模式

在安装或配置工作负载资源之前,选择由哪个 Device Plugin 在每个 NPUOperatorCtl 实例所管理的完整范围内公开和分配 Ascend NPU。

默认情况下,当工作负载需要独占访问一个或多个 NPU,且不需要 HAMi 调度、共享或切分时,请通过 NPU Operator Ascend Device Plugin 使用直接整卡分配。当提高整体设备利用率,或使用 HAMi 调度和资源管理比保持最简单的直接分配路径更重要时,请评估 HAMi。

比较分配模式

选择因素NPU Operator 直接整卡分配HAMi 整卡分配HAMi vNPU 分配
选择时机工作负载独占使用一个或多个完整 NPU,且不需要 HAMi 功能。工作负载仍然独占使用完整 NPU,但集群需要 HAMi 调度和资源管理。多个工作负载需要共享设备,或需要受支持的硬切分或软切分行为。
分配方NPU Operator Ascend Device PluginHAMi Ascend Device PluginHAMi Ascend Device Plugin
调度路径使用直接 NPU 扩展资源的标准 Kubernetes 调度HAMi 管理的调度HAMi 管理的调度和切分
性能考虑提供不含 HAMi 共享或虚拟化控制的最简单分配路径。当工作负载性能、延迟稳定性或独占设备访问具有较高优先级时,优先选择此模式。在保留整卡分配语义的同时,增加 HAMi 调度和资源管理组件。当性能是选择标准时,请验证具有代表性的工作负载。共享和资源控制机制可能引入性能开销和争用。请验证利用率收益是否大于测得的工作负载影响。
运维考虑使用 NPU Operator 管理的 Device Plugin 以及本网站所述的直接分配工作流。需要 HAMi 和 HAMi Ascend Device Plugin,并且需要切换 Device Plugin 所有者。需要 HAMi、HAMi Ascend Device Plugin、受支持的切分模式,以及额外的工作负载和运行时兼容性验证。

如果没有明确的 HAMi 调度、共享或切分需求,请保留直接整卡分配。不要仅因为工作负载使用 Ascend 硬件就引入 HAMi。

考虑性能和资源利用率

直接整卡分配提供了更简单的设备分配路径,不包含 HAMi 共享或虚拟化控制。当工作负载性能、延迟稳定性或独占设备访问优先于共享未使用的容量时,请选择此模式。

HAMi 增加了调度、共享、虚拟化和资源控制功能。这些机制可能带来性能开销,尤其是在工作负载共享同一物理设备或使用其切片时。实际影响取决于硬件、分配模式、工作负载特征、并发情况、Driver、CANN 和运行时环境。

当整体设备利用率的预期提升或 HAMi 资源管理需求比保留最简单的直接分配路径更重要时,请选择 HAMi。在生产环境中使用之前,请在目标环境中使用具有代表性的工作负载,对比直接分配和所选的 HAMi 模式。测量用于定义服务验收标准的应用级吞吐量和延迟;Pod 调度和基本设备访问并不能证明其性能适用性。

Community 基准测试

HAMi Community 发布了性能基准测试,用于展示 HAMi 资源控制在特定环境中可能产生的开销。该基准测试使用特定的 NVIDIA GPU、工作负载和配置。请勿将其视为 Ascend NPU 的固定损耗估算。在生产环境中使用之前,请使用实际硬件和工作负载验证所选的 Ascend 分配模式。

为 HAMi 准备 Ascend 基础组件

由 HAMi 管理分配时,NPU Operator 仍负责 Ascend 基础组件。保留由 NPU Operator 管理的 Driver、OCI Runtime、ascend RuntimeClass,以及任何必需的 NPU Exporter 组件。对于 HAMi 将管理的完整 NPUOperatorCtl 范围,请禁用 NPU Operator Ascend Device Plugin。

由 HAMi 管理的分配会增加 HAMi 调度和设备管理组件。有关支持的环境、安装、配置和已知限制,请参阅 HAMi 文档。

每个管理范围只能有一个 Device Plugin 所有者

在一个管理范围内,只能由一个 Device Plugin 公开和分配相同的物理 NPU。请勿让 NPU Operator Ascend Device Plugin 和 HAMi Ascend Device Plugin 管理相同设备,也不要依靠资源键的差异将二者区分开来。

请将此切换视为适用于完整的 NPUOperatorCtl Device Plugin 所有权范围。仅当已安装的产品版本明确支持并验证了互斥的 Device Plugin 部署方式时,才可在同一集群中使用两种路径。更改现有范围的所有者属于维护操作,不会迁移正在运行的工作负载。

继续使用所选模式

  • 对于 NPU Operator 直接分配整卡,请继续阅读请求 NPU 资源、配置工作负载和验证。
  • 对于由 HAMi 管理的整卡或 vNPU 分配,请继续阅读 选择 HAMi 部署场景。请遵循 HAMi 文档中的安装、Device Plugin 所有者切换、资源请求、切片行为、兼容性和故障排除说明。