选择一个 HAMi 部署场景

HAMi 为受支持的厂商加速器栈增加共享、虚拟化和调度能力。当工作负载需要由 HAMi 管理设备分配时,请使用本页。

HAMi 具有以下能力和产品范围:

  • HAMi Community 为 GPU、NPU 以及其他厂商加速器提供可扩展的后端,包括来自多个国产厂商的加速器。
  • 此处记录的 Alauda 产品集成主要面向 NVIDIA GPU 和 Huawei Ascend NPU。
  • 可用的加速器型号和分配模式取决于已安装的 Alauda 产品组合。请在 Compatibility 中确认当前范围。
不使用 HAMi 的直接分配

如果目标节点池只需要独占整卡分配,而不需要 HAMi 调度、切分或资源管理,则改用厂商的直接分配路径。

对于 Ascend NPU,请为该节点池保持启用 NPU Operator 原生 Ascend Device Plugin,并且不要在相同设备上启用 HAMi Ascend Device Plugin。请继续阅读 直接请求 Ascend NPU 资源

选择一个 HAMi 场景

请选择与加速器后端以及工作负载所需分配行为相匹配的场景:

HAMi 场景适用场景关键工作负载行为继续
NVIDIA GPU 上的 HAMiNVIDIA 工作负载需要 HAMi 调度、整卡分配、内存或计算共享,或者由 HAMi 管理的动态 MIG。使用 hami-scheduler 和 HAMi NVIDIA 资源键,例如 nvidia.com/gpualloc,以及可选的内存或计算资源。NVIDIA GPU 上的 HAMi
Ascend NPU 上的 HAMi(整卡)Ascend 工作负载需要独占整卡分配,但仍应使用 HAMi 调度和资源管理。仅请求模型相关的 count 资源,并设置 runtimeClassName: ascend。整卡请求不依赖 hard/soft node 模式。Ascend NPU 上的 HAMi
Ascend vNPU 上的 HAMiAscend 工作负载需要固定模板的硬切分或 hami-core 软切分。硬切分使用 hami-vnpu-core=false,并请求 count 加内存。软切分使用 hami-vnpu-core=true,添加 huawei.com/vnpu-mode: hami-core,并请求 count 加内存以及可选的核心百分比。两种路径都使用 runtimeClassName: ascendAscend vNPU 上的 HAMi
每个设备池仅一个 Device Plugin 负责人

在一个节点池中,同一物理设备只能由一个 Device Plugin 进行暴露和分配。

对于由 HAMi 管理的 Ascend 场景,请保留 NPU Operator Driver、OCI Runtime、ascend RuntimeClass 以及任何必需的 Exporter 组件,但禁用其原生 Ascend Device Plugin。对于整卡、硬切分和软切分工作负载,HAMi Ascend Device Plugin 将成为分配负责人。在创建由 HAMi 管理的工作负载之前,请先执行 切换 Ascend Device Plugin 负责人

相关任务