介绍
HAMi 是 Alauda 为 ACP 集群提供的增值加速器路径。当多个工作负载需要共享加速器设备、工作负载需要部分加速器容量而不是整块物理设备,或者某个部署需要在厂商基础路径之上具备 HAMi 调度和虚拟化行为时,请使用它。
HAMi 是一个支持多个加速器后端的社区项目。Alauda 文档重点介绍产品封装、ACP 安装路径、受支持的后端、资源键、监控入口以及用户在 ACP 中运行 HAMi 时所需的故障排查步骤。
何时使用 HAMi
当你需要以下一项或多项能力时,请使用 Alauda Build of HAMi:
- 在多个工作负载之间共享一块加速器设备;
- 在受支持的后端上独立请求 GPU 数量、计算比例和内存;
- 在目标版本支持相应后端时,在 NVIDIA GPU 上使用 HAMi、在 Ascend NPU 上使用 HAMi,或在 Ascend vNPU 上使用 HAMi;
- 在 ACP 中使用带有 HAMi 资源名称的配额和 Application 页面;
- 通过 ACP 监控或 HAMi WebUI 监控共享加速器的使用情况;
- 将 HAMi 调度器、后端特定的设备暴露以及运行时集成作为 ACP 提供的组件进行管理。
对于不使用 HAMi 共享语义的 NVIDIA GPU 分配,请使用 NVIDIA GPU 厂商基础文档。对于不使用 HAMi 的直接 Ascend NPU 分配,请继续参考 直接请求 Ascend NPU 资源。
对于组合部署,请使用厂商基础文档准备节点、驱动、运行时和 CDI。然后使用 HAMi 文档安装所选 HAMi 场景所需的组件,请求 HAMi 资源,并排查调度或共享问题。
后端组件如何协同工作
Alauda Build of HAMi 提供 HAMi 调度器、Webhook、运行时集成以及内置的 NVIDIA 设备插件。Ascend 设备暴露由单独安装的产品提供。
HAMi-WebUI 是一个单独安装的可选组件,可提供 HAMi 专用的资源概览。
产品范围
本文档涵盖 ACP 中 Alauda 交付的 HAMi:
- 如何安装并验证 HAMi 集群插件;
- 如何安装和配置 HAMi-WebUI 以及后端特定的 HAMi Ascend Device Plugin;
- 如何选择在 NVIDIA GPU 上使用 HAMi、在 Ascend NPU 上使用 HAMi,或在 Ascend vNPU 上使用 HAMi;
- 如何在工作负载中请求 HAMi 资源;
- HAMi 后端路径如何依赖 NVIDIA GPU 或 Ascend NPU 的基础前提条件;
- HAMi 资源名称如何与 ACP 配额和监控页面关联;
- 产品交付了哪些组件、可选插件和版本;
- 常见的运维检查和故障排查步骤。
如需查看完整的上游 HAMi 设计细节或后端特定的设备行为,请继续查阅 HAMi 社区文档或相应的硬件厂商文档。