介绍
HAMi 是 Alauda 为 ACP 集群提供的增值加速器路径。当多个工作负载需要共享加速器设备、工作负载需要使用部分加速器容量而非完整物理设备,或者部署需要在厂商基础路径之上使用 HAMi 调度和虚拟化行为时,请使用 HAMi。
HAMi 是一个支持多个加速器后端的 Community 项目。Alauda 文档重点介绍在 ACP 中运行 HAMi 时用户所需的产品封装、ACP 安装路径、支持的后端、资源键、监控入口和故障排查步骤。
HAMi™ 是 The Linux Foundation 的商标。Alauda 是独立厂商。本产品与 The Linux Foundation 无关联,也未获其认可或赞助。所有商标均归其各自所有者所有,此处仅用于标识目的。
何时使用 HAMi
当您需要以下一项或多项功能时,请使用 Alauda AI Infrastructure Accelerator Virtualization:
- 在多个工作负载之间共享一个加速器设备;
- 在受支持的后端上分别请求 GPU 数量、计算比例和显存;
- 当目标 release 支持这些后端时,使用 NVIDIA GPU 上的 HAMi、Ascend NPU 上的 HAMi,或 Ascend vNPU 上的 HAMi;
- 将 ACP 配额和原生应用页面与 HAMi 资源名称结合使用;
- 通过 ACP 监控或 HAMi WebUI 监控共享加速器的使用情况;
- 将 HAMi scheduler、特定后端的设备暴露和运行时集成作为 ACP 交付的组件进行管理。
对于不使用 HAMi 共享语义的 NVIDIA GPU 分配,请使用 NVIDIA GPU 厂商基础文档。对于不使用 HAMi 的直接 Ascend NPU 分配,请继续参阅 直接请求 Ascend NPU 资源。
对于组合部署,请使用厂商基础文档准备节点、驱动程序、运行时和 CDI。然后使用 HAMi 文档安装所选 HAMi 场景所需的组件,请求 HAMi 资源,并排查调度或共享问题。
后端组件如何协同工作
Alauda AI Infrastructure Accelerator Virtualization 通过 OLM 管理的 Operator 提供 HAMi scheduler、webhook、运行时集成以及内置的 NVIDIA device plugin。在所选版本组合受支持时,Ascend 设备暴露由单独安装的产品提供。
HAMi-WebUI 是单独安装的可选组件,提供 HAMi 专属的资源概览。
产品范围
本文档介绍 ACP 中 Alauda 对 HAMi 的交付内容:
- 如何安装和验证 HAMi Operator;
- 如何安装和配置 HAMi-WebUI 以及特定后端的 HAMi Ascend Device Plugin;
- 如何选择 NVIDIA GPU 上的 HAMi、Ascend NPU 上的 HAMi 或 Ascend vNPU 上的 HAMi;
- 如何在工作负载中请求 HAMi 资源;
- HAMi 后端路径如何依赖 NVIDIA GPU 或 Ascend NPU 的基础前提条件;
- HAMi 资源名称如何关联到 ACP 配额和监控页面;
- 产品交付的组件、可选插件和版本;
- 常见的运维检查和故障排查步骤。
如需了解完整的上游 HAMi 设计细节或特定后端的设备行为,请继续参阅 HAMi Community 文档或相应的硬件厂商文档。