配置 Ascend 切分模式

使用此操作步骤,可在 HAMi 管理的 Ascend 节点上切换固定模板硬切分和 hami-core 软切分模式。整卡工作负载通过仅指定数量的请求进行选择,可在任一节点模式下运行。

WARNING

在更改目标节点的模式之前,请停止或迁移使用部分显存的 Ascend 工作负载。硬切分和软切分工作负载不会在模式之间迁移。

了解生效配置

v1.4.1 Alauda 交付版本通常包含 spec.config.create: false,并复用 HAMi 所有的 hami-scheduler-device ConfigMap。在此布局中,仅更改 spec.hamiVnpuCore.enabled 不会更新共享 ConfigMap,因此也不会更改生效的节点模式。

在 HAMiAscendDevicePlugin 资源上使用结构化的 spec.nodeConfig 对象,为每个节点显式设置配置。chart 会将其渲染到 hami-device-node-config 中,匹配的节点条目会覆盖全局值。CRD 会保留开放的 spec 对象;已安装的 chart schema 定义了 nodes 结构。

检查当前所有者和生效值:

kubectl get hamiadp -A
kubectl -n <hami-namespace> get hamiadp <instance-name> \
  -o jsonpath='{.spec.config.create}{"\n"}{.spec.config.existingDeviceConfigMapName}{"\n"}{.spec.hamiVnpuCore.enabled}{"\n"}{.spec.nodeConfig}{"\n"}'
kubectl -n <hami-namespace> get configmap hami-scheduler-device -o yaml
kubectl get node <node-name> \
  -o go-template='hami-vnpu-core={{ index .metadata.annotations "hami-vnpu-core" }}{{ "\n" }}'

仅针对部分显存请求,按以下方式解读节点注解:

  • hami-vnpu-core=false:固定模板硬切分;
  • hami-vnpu-core=true:hami-core 软切分;
  • 整卡:通过仅请求数量资源来选择,与此注解无关。

更新自定义资源

编辑现有实例;不要创建第二个 HAMiAscendDevicePlugin 实例:

kubectl -n <hami-namespace> edit hamiadp <instance-name>

将 spec.nodeConfig 设置为对象。编辑列表时,请保留其他节点的条目。

要在一个节点上启用软切分:

spec:
  config:
    create: false
    deviceConfigMapName: hami-scheduler-device
    existingDeviceConfigMapName: hami-scheduler-device
  nodeConfig:
    nodes:
      - name: "<node-name>"
        hami-vnpu-core: true

要改为选择硬切分,请将节点值设置为 false:

spec:
  nodeConfig:
    nodes:
      - name: "<node-name>"
        hami-vnpu-core: false

使用 kubectl get nodes 报告的准确 Kubernetes Node 名称。nodes 列表是对象的一部分,必须保留在 spec.nodeConfig 下。

对于 nodeConfig 仅包含此节点的实例,等效的完整 patch 命令如下:

# Enable soft slicing on the target node.
kubectl -n <hami-namespace> patch hamiadp <instance-name> \
  --type merge \
  --patch '{"spec":{"nodeConfig":{"nodes":[{"name":"<node-name>","hami-vnpu-core":true}]}}}'

# Select hard slicing on the target node.
kubectl -n <hami-namespace> patch hamiadp <instance-name> \
  --type merge \
  --patch '{"spec":{"nodeConfig":{"nodes":[{"name":"<node-name>","hami-vnpu-core":false}]}}}'

这些合并 patch 会替换整个 spec.nodeConfig 对象。如果其中已包含其他节点,请使用 kubectl edit 并保留所有必需条目,而不要应用单节点 patch。

配置逻辑调度槽位

vDeviceCount 是为每个物理 NPU 报告的逻辑调度槽位数量。它不会将内存拆分为相等的部分,也不是通用的软切分默认值。

将其留空,以使用根据已安装设备配置推导出的值:

memoryAllocatable / memory of the smallest hard-slice template

例如,交付的配置会根据 65536 / 16384 为 Ascend 910B4-1 推导出 4 个槽位。仅当容量规划明确允许这么多并发分配时,才设置其他整数值。以下值 20 是 operator 选择的并发策略,而不是 Ascend 910B4-1 的默认值:

spec:
  nodeConfig:
    nodes:
      - name: "<ascend-910b4-1-node-name>"
        hami-vnpu-core: true
        vDeviceCount: 20

不要将 vDeviceCount 加引号作为字符串。每个工作负载仍受其内存请求和可选核心请求的约束。

等待更改生效

更改 spec.nodeConfig 后,请验证生成的 ConfigMap 已发生更改,并且新的 Ascend Device Plugin Pod 已加载该配置。scheduler 和 ADP 会在进程启动时读取设备配置;实时编辑 ConfigMap 不会刷新现有进程。通过 Helm/operator 协调使 Pod 滚动更新是正常的更新路径:

kubectl -n <hami-namespace> rollout status \
  daemonset/hami-ascend-device-plugin --timeout=5m
kubectl -n <hami-namespace> get configmap hami-device-node-config -o yaml
kubectl get node <node-name> \
  -o go-template='hami-vnpu-core={{ index .metadata.annotations "hami-vnpu-core" }}{{ "\n" }}'

如果 custom resource 和生成的 ConfigMap 均包含预期值,但 DaemonSet 未滚动更新,请仅重启由 operator 管理的 Device Plugin:

kubectl -n <hami-namespace> rollout restart \
  daemonset/hami-ascend-device-plugin
kubectl -n <hami-namespace> rollout status \
  daemonset/hami-ascend-device-plugin --timeout=5m

不要仅为重新加载 hami-device-node-config 而重启 HAMi scheduler 或应用程序工作负载。不要将编辑生成的 ConfigMap 作为正常更新路径;应改为更改其所属的 custom resource。

使用工作负载进行验证