配置动态 MIG

HAMi 动态 MIG 使用 nvidia-mig-parted 为 HAMi 工作负载创建 NVIDIA MIG 实例,同时保留 HAMi 资源 API。仅当已安装的 Alauda Build of HAMi 版本支持动态 MIG,且 NVIDIA GPU 基础环境已准备好 MIG 时,才使用此高级路径。

动态 MIG 是一种 HAMi 分配模式。NVIDIA GPU 硬件支持、驱动程序要求以及直接 MIG 行为仍以 NVIDIA GPU MIG 文档 为准。

WARNING

更改 MIG 几何配置可能会重置 GPU。在启用或更改该模式之前,请清空或停止工作负载,以及任何会阻止 GPU 重置的进程。请根据 NVIDIA GPU 产品文档协调 NVIDIA 指标组件。

开始之前

  • 安装启用了 NVIDIA 后端的 Alauda Build of HAMi。
  • 确认目标 NVIDIA GPU 型号和驱动程序支持 MIG。
  • 确认没有其他 device plugin 或 DRA driver 暴露同一块物理 GPU。
  • 记录当前的 HAMi 节点配置。对 ConfigMap 的直接更改可能会被后续的 cluster-plugin 更新覆盖。

在更改之前先备份当前配置:

kubectl -n kube-system get configmap hami-device-plugin \
  -o yaml > hami-device-plugin-before-mig.yaml

在节点上启用动态 MIG

编辑 hami-device-plugin ConfigMap 中的 config.json 数据,并为每个动态 MIG 节点添加一条条目:

kubectl -n kube-system edit configmap hami-device-plugin
{
  "nodeconfig": [
    {
      "name": "<mig-node-name>",
      "operatingmode": "mig",
      "filterdevices": {
        "uuid": [],
        "index": []
      }
    }
  ]
}

保留其他节点的条目。更新配置后,请在计划的维护窗口期间重启 HAMi scheduler 和 device plugin:

kubectl -n kube-system rollout restart deployment hami-scheduler
kubectl -n kube-system rollout restart daemonset hami-device-plugin

如果部署使用带发布前缀的资源名称,请通过 kubectl get deployment,daemonset -n kube-system | grep hami 获取实际名称。

请求动态 MIG 设备

HAMi 对 HAMi-Core 和动态 MIG 工作负载使用相同的 nvidia.com/gpualloc 和 nvidia.com/gpumem 资源。当工作负载必须运行在动态 MIG 节点上时,请使用模式注解:

apiVersion: v1
kind: Pod
metadata:
  name: hami-dynamic-mig
  annotations:
    nvidia.com/vgpu-mode: "mig"
spec:
  containers:
    - name: workload
      image: <your-gpu-image>
      resources:
        limits:
          nvidia.com/gpualloc: 1
          nvidia.com/gpumem: 8000

HAMi 会选择第一个能够满足内存请求的受支持 MIG 几何配置。对于此 HAMi 路径,节点不会暴露诸如 nvidia.com/mig-1g.10gb 之类的静态资源。

验证模式

检查工作负载、device-plugin 日志以及 HAMi 资源视图:

kubectl get pod hami-dynamic-mig -o wide
kubectl -n kube-system logs daemonset/hami-device-plugin --tail=200
kubectl get node <mig-node-name> -o jsonpath='{.status.allocatable}'

工作负载必须变为 Running,device-plugin 日志中不得包含 nvidia-mig-parted failed 错误,并且工作负载必须继续请求标准的 HAMi NVIDIA 资源键。

运行限制

  • nvidia.com/gpualloc 不能超过工作负载可用的物理 GPU 数量。
  • 几何配置更改可能需要再次重置 GPU。
  • 对 chart 生成的 ConfigMap 进行直接编辑,可能会在升级期间被覆盖。请在每次 HAMi 升级前备份并重新验证节点配置。
  • 仅使用已安装 HAMi 包和目标 GPU 型号所支持的几何配置。有关完整的上游几何格式,请参阅 Project-HAMi dynamic MIG support。

后续步骤