架构

以下图示展示了 NVIDIA GPU 的 HAMi 核心运行时路径:

Alauda AI Infrastructure Accelerator Virtualization 包含以下核心组件:

  • HAMi MutatingWebhook;
  • HAMi scheduler extender;
  • 启用 Enable NVIDIA 时内置的 NVIDIA device plugin;
  • 容器内的 HAMi-Core 资源控制。

HAMi MutatingWebhook 会检查提交的 Pod 是否使用 HAMi 管理的资源。对于由 HAMi 处理的 Pod,它会分配 HAMi scheduler,使工作负载进入 HAMi 调度路径。

HAMi scheduler 会为每个 HAMi 工作负载选择符合条件的节点和设备。它会维护在集群中进行调度决策所需的设备状态。

device-plugin 层特定于后端。对于 NVIDIA GPU,内置的 NVIDIA device plugin 会向 Kubernetes 报告受支持的资源,从 Pod 注解中读取调度结果,并将选定的设备映射到容器中。对于 Ascend NPU,Enable Ascend 会启用 scheduler 支持,但不会部署 Ascend device plugin。单独安装的 HAMi Ascend Device Plugin 负责提供 Ascend 设备。

HAMi-Core 会在容器内强制执行受支持的资源限制,并报告该运行时路径提供的使用数据。

单独安装的 HAMi 组件

产品线还可以包含与核心 HAMi Operator 分开安装和升级的组件:

Vendor drivers、container runtimes、CDI 配置、DCGM-Exporter 和 NPU Exporter 不属于 HAMi 组件。当所选 HAMi 后端需要这些组件时,请通过 NVIDIA GPU 文档 或 Ascend NPU 文档 安装和管理它们。