排查虚拟机中的 Ascend NPU
当 Ascend NPU 暴露给虚拟机或虚拟化节点时,请使用本页面。此处的检查项描述了在 310P AlaudaOS 测试环境中观察到的限制,不代表物理 Ascend 节点的功能。
识别环境
通过平台的节点管理路径确认工作负载节点是虚拟机。然后检查客户机 NPU 的运行状况以及 Kubernetes 报告的资源:
如果客户机报告 NPU 状态正常,且 Kubernetes 报告了可分配资源,即使 vNPU 操作不可用,整卡运行时工作负载仍可能可以使用。
已知的虚拟机限制
在经过验证的 310P AlaudaOS 虚拟机环境中:
npu-smi可以报告 NPU 状态正常,但客户机驱动程序会拒绝创建 vNPU;device-share无法从虚拟机内部更改;- 静态 vNPU 创建可能会在创建设备之前失败;
- 动态 vNPU 工作负载可能保持 Pending 状态,或在创建虚拟设备期间失败;
- device-plugin 枚举错误可能是客户机环境特有的,不能据此证明物理节点驱动程序发生故障。
这些观察结果仅适用于特定环境。不要据此断言物理 310P、910B 或其他 Ascend 硬件不支持静态或动态 vNPU。
创建产品问题前需要验证的内容
分别检查以下各层:
- 客户机报告了预期的 NPU 及其健康状态。
- 节点报告了工作负载请求的资源键。
- device-plugin Pod 处于 Ready 状态,且其日志显示已注册该资源。
- 使用 Ascend 运行时的整卡工作负载可以完成 ACL 内存分配和小型 NPU 操作。
- 删除测试 Pod 并释放设备后,故障仍可复现。
不要仅凭 Pod Running、/dev/davinci* 设备或 npu-smi info,就认定工作负载能够使用 NPU。
vNPU 工作负载失败时
记录确切的分配模式、资源键、已接纳的 RuntimeClass、调度器、Pod 事件以及客户机 NPU 状态。如果故障仅发生在虚拟机中,请先在受支持的物理节点上运行相同的工作负载,然后再报告一般性的硬件或插件缺陷。
请分别处理以下情况:
- 通过 Ascend 运行时进行整卡分配;
- 静态 vNPU 的创建和发现;
- 动态 vNPU 的创建和清理;
- HAMi 软切分和设备共享要求。
整卡工作负载成功并不能证明虚拟机中提供了每种 vNPU 模式。
使用正确的证据升级问题
请附上产品版本、芯片型号、客户机操作系统和内核、资源键、Pod 事件、device-plugin 日志、npu-smi info 以及 ACL 或应用程序结果。明确说明测试是在物理节点还是虚拟机上运行的。
有关物理节点安装和驱动程序准备,请返回开始使用 NPU Operator。有关 HAMi 所有者切换和 Ascend 切片,请参阅 HAMi Ascend Device Plugin documentation。