介绍
Kubernetes 通过 Device Plugins 提供对特殊硬件资源(例如 Ascend NPU)的访问。但是,要配置和管理拥有这些硬件资源的节点,还需要多个软件组件(例如驱动程序、container runtime 或其他库)。这些组件的安装过程复杂、困难且容易出错。NPU operator 使用 Kubernetes 中的 Operator Framework 自动管理配置 Ascend 设备所需的所有软件组件。这些组件包括 Ascend driver 和 firmware(用于支持集群的整个运行过程),以及 MindCluster device plug-in(用于支持任务调度、O&M 监控和故障恢复等集群运维操作)。通过安装相应组件,您可以管理 NPU 资源、优化 workload 调度,并将 training 和 inference 任务容器化,从而使 AI jobs 以容器形式部署并运行在 NPU 设备上。
有关更多详情,请参阅 NPU Operator。