Ascend vNPU 上的 HAMi

当 Ascend 工作负载需要通过 HAMi 使用固定模板硬切分或 hami-core 软切分时,请使用此方案。若要通过 HAMi 分配整卡,请使用 Ascend NPU 上的 HAMi。

WARNING

使用前,请在 Compatibility 和 Release Notes 中确认 Alauda Build of HAMi Ascend Device Plugin v1.4.1 支持的硬件、环境和已知限制。

选择硬切分或软切分

要求硬切分软切分
使用场景工作负载符合预定义的厂商 vNPU 模板。工作负载需要软件控制的内存配额和可选的计算调度权重。
生效的节点注解hami-vnpu-core=falsehami-vnpu-core=true
工作负载资源数量加内存。数量加内存,以及可选的核心百分比。
所需的 Pod 注解无huawei.com/vnpu-mode: hami-core
所需的 RuntimeClassascendascend
运行时信号ASCEND_VNPU_SPECS,例如 vir01。NPU_MEM_QUOTA、可选的 NPU_PRIORITY,以及 libvnpu.so 预加载。

硬切分和软切分是独立的节点模式。当一个集群中需要同时使用这两种模式时,请使用不同的节点池,并确保每个工作负载选择为其模式配置的节点池。

检查生效的节点模式

检查写入目标节点的生效注解:

kubectl get node <node-name> \
  -o go-template='hami-vnpu-core={{ index .metadata.annotations "hami-vnpu-core" }}{{ "\n" }}'

使用节点注解作为调度所采用的生效模式:

  • false:节点接受整卡请求和部分内存硬切分请求;
  • true:节点接受整卡请求,以及设置 huawei.com/vnpu-mode: hami-core 的部分内存软切分请求。

如果节点模式和 Pod 模式不匹配,Pod 可能会因出现 ModeNotFit 调度事件而保持 Pending 状态。使用以下命令检查:

kubectl describe pod <pod-name>

请参阅配置 Ascend 切分模式以检查所属的自定义资源和 ConfigMaps,或更改节点模式。

运行 Ascend 工作负载

以下 Pod 清单以 Ascend 310P3 作为具体示例。此硬件型号通过 huawei.com/Ascend310P 资源系列公开。对于 Ascend 910 系列设备,请将数量、内存、可选核心以及分配注解名称替换为 hami-scheduler-device 中针对具体型号的值。对于硬切分,还应使用为该型号定义的模板和内存值,并在验证命令中更新预期的 ASCEND_VNPU_SPECS 值。请将镜像替换为包含测试应用所需 CANN 库的 ARM64 Ascend 镜像。

在接受软切分前检查 CANN 运行时

需要 Ascend Driver 25.5 或更高版本,但仅凭 Driver 版本无法证明工作负载镜像与注入的软切分运行时兼容。请查看 Ascend Driver 和 CANN 兼容性 中的 ABI 约束,然后使用确切的工作负载镜像运行具有代表性的 CANN 操作。

RuntimeClass 注入

示例会显式设置 runtimeClassName: ascend。仅当 NPU Operator webhook 或 HAMi Ascend scheduler 配置为注入 ascend 时,才可以省略此设置;请使用一个注入器,并验证已准入的 Pod。

运行硬切分工作负载

硬切分会将请求的内存向上舍入到预定义的模板。对于 Ascend 310P3,v1.4.1 配置提供了 3072 MiB 的 vir01、6144 MiB 的 vir02 和 12288 MiB 的 vir04。以下请求选择 vir01。

v1.4.1 中的硬切分限制

已分配的硬切分 vNPU 可能会在工作负载首次访问它之前被回收。仅将此路径用于评估;需要稳定的设备访问时,请使用整卡分配。

部分内存硬切分请求还只支持每个容器使用一个设备。请保留 huawei.com/Ascend310P: "1"。使用部分内存请求多个设备时,准入 webhook 会返回 vNPU not supported for multiple devices;Pod 可能不会被创建,因此请检查 kubectl apply 错误,而不要等待调度事件。

apiVersion: v1
kind: Pod
metadata:
  name: hami-ascend310p-hard-slice
spec:
  schedulerName: hami-scheduler
  runtimeClassName: ascend
  restartPolicy: Never
  containers:
    - name: npu-workload
      image: <your-ascend-image>
      command: ["/bin/sh", "-c"]
      args:
        - |
          env | grep -E 'ASCEND_VISIBLE_DEVICES|ASCEND_VNPU_SPECS'
          sleep 3600
      resources:
        requests:
          huawei.com/Ascend310P: "1"
          huawei.com/Ascend310P-memory: "3072"
        limits:
          huawei.com/Ascend310P: "1"
          huawei.com/Ascend310P-memory: "3072"

不要向硬切分工作负载添加 huawei.com/vnpu-mode: hami-core 或核心资源。

创建并检查 Pod:

kubectl apply -f hami-ascend310p-hard-slice.yaml
kubectl get pod hami-ascend310p-hard-slice -o wide
kubectl get pod hami-ascend310p-hard-slice \
  -o go-template='scheduler={{ .spec.schedulerName }}{{ "\n" }}runtimeClass={{ .spec.runtimeClassName }}{{ "\n" }}allocation={{ index .metadata.annotations "hami.io/Ascend310P-devices-allocated" }}{{ "\n" }}'
kubectl exec hami-ascend310p-hard-slice -- /bin/sh -c '
  test -n "$ASCEND_VISIBLE_DEVICES" &&
  test "$ASCEND_VNPU_SPECS" = vir01 &&
  test -z "$NPU_MEM_QUOTA"
'

预期结果是非空的 HAMi 分配注解和 ASCEND_VNPU_SPECS=vir01。这些信号确认已选择硬切分运行时路径。仅凭 Pod Running 和环境变量无法证明设备可用;在接受此环境之前,请运行具有代表性的 CANN 设备打开或推理工作负载。

运行软切分工作负载

软切分需要满足以下所有设置:

  • 目标节点具有 hami-vnpu-core=true;
  • Pod 具有 huawei.com/vnpu-mode: hami-core;
  • Pod 设置了 runtimeClassName: ascend;
  • 工作负载请求数量加内存,并可选地请求针对具体型号的核心资源;
  • 工作负载镜像包含 CANN 运行时和应用所需的工具。

以下 Ascend 310P3 示例请求 4096 MiB,并提供核心值 1:

apiVersion: v1
kind: Pod
metadata:
  name: hami-ascend310p-soft-slice
  annotations:
    huawei.com/vnpu-mode: hami-core
spec:
  schedulerName: hami-scheduler
  runtimeClassName: ascend
  restartPolicy: Never
  containers:
    - name: npu-workload
      image: <your-ascend-image>
      command: ["/bin/sh", "-c"]
      args:
        - |
          env | grep -E 'ASCEND_VISIBLE_DEVICES|NPU_MEM_QUOTA|NPU_PRIORITY'
          grep -F /hami-vnpu-core/libvnpu.so /etc/ld.so.preload
          sleep 3600
      resources:
        requests:
          huawei.com/Ascend310P: "1"
          huawei.com/Ascend310P-memory: "4096"
          huawei.com/Ascend310P-core: "1"
        limits:
          huawei.com/Ascend310P: "1"
          huawei.com/Ascend310P-memory: "4096"
          huawei.com/Ascend310P-core: "1"

创建并检查 Pod:

kubectl apply -f hami-ascend310p-soft-slice.yaml
kubectl get pod hami-ascend310p-soft-slice -o wide
kubectl get pod hami-ascend310p-soft-slice \
  -o go-template='scheduler={{ .spec.schedulerName }}{{ "\n" }}runtimeClass={{ .spec.runtimeClassName }}{{ "\n" }}mode={{ index .metadata.annotations "huawei.com/vnpu-mode" }}{{ "\n" }}allocation={{ index .metadata.annotations "hami.io/Ascend310P-devices-allocated" }}{{ "\n" }}'
kubectl exec hami-ascend310p-soft-slice -- /bin/sh -c '
  test -n "$ASCEND_VISIBLE_DEVICES" &&
  test "$NPU_MEM_QUOTA" = 4096 &&
  test "$NPU_PRIORITY" = 1 &&
  grep -F /hami-vnpu-core/libvnpu.so /etc/ld.so.preload
'

按以下方式解释结果:

  • mode=hami-core 和非空的分配注解确认 HAMi 软切分调度和分配已生效。
  • libvnpu.so 预加载项确认已选择 HAMi vNPU 运行时路径。此版本不会注入 PostStart hook。
  • NPU_MEM_QUOTA=4096 是请求的软件内存配额。
  • 可选的核心资源由调度器按百分比表示,并注入为 NPU_PRIORITY。它控制相对计算调度权重,而不是提供专用硬件 AI Core 隔离。

这些检查可以证明已选择软切分运行时路径,但 Pod Running 不是端到端功能测试。请运行 CANN 内存分配或推理工作负载,并确认其能够访问分配的设备且遵守请求的配额。

对于其他芯片型号,请从 hami-scheduler-device 获取资源键和分配注解后缀,并在创建工作负载之前确认节点可分配资源中的数量容量。

后续步骤