配置 NPU 故障可观测性
使用本操作指南,使由 ACP 管理的业务集群中的 Ascend NPU 卡故障变得可观测。
主要操作步骤用于配置常规生产流程:
可选验证部分介绍了项目如何使用故障注入镜像验证此流程。该部分有意与生产环境操作步骤分开。健康集群不会产生故障告警;配置好告警流程后,这就是预期状态。
在本操作步骤中,隔离是指 Ascend Device Plugin 在设备级别排除设备。对于 SeparateNPU 故障,受影响的卡会被标记为不健康,且 Node 可分配的 NPU 数量会减少,从而防止新工作负载被分配到该卡。
此操作步骤不会对 Node 执行 cordon 操作、设置 spec.unschedulable、使 Node 显示为 SchedulingDisabled,也不会自动驱逐或重新调度现有 Pod。
目录
开始之前1. 验证 NPU 指标是否可用2. 记录健康基线3. 创建生产环境告警规则4. 配置通知发送5. 在健康集群中验证已配置的可观测性6. 观察真实的 NPU 故障7. 可选:在非生产环境中进行验证故障排除缺少 exporter 指标规则已存在,但看不到告警卡不健康,但可分配资源没有减少卡已隔离,但 Node 仍处于 Ready 状态运行中的 Pod 仍在使用不健康的卡看得到告警,但未发送通知开始之前
请确保:
- 目标集群已安装 Alauda Build of NPU Operator。
- Ascend Device Plugin 会在目标节点上报告 NPU 资源。
- NPU Exporter 已启用,且 ACP Monitoring 堆栈会抓取其 ServiceMonitor。
- 你有权限检查 Node、DaemonSet、ConfigMap 和指标,并创建 PrometheusRule 资源。
- 如果需要外部通知,需有可用的 ACP 通知服务器、接收方组、通知模板和通知策略。
在 v26.6.0 版本中,NPU Exporter 及其 ServiceMonitor 在 npu-exporter 中运行,而 Ascend Device Plugin 在 kube-system 中运行。
有关安装和 Exporter 的先决条件,请参阅安装、 验证安装和 监控 NPU 使用情况。
有关通知设置,请参阅
管理通知以及 管理告警。
1. 验证 NPU 指标是否可用
找到一个 NPU Exporter Pod,并在本地暴露其指标端点:
在另一个终端中查询芯片指标:
这些指标按芯片报告。请保留用于定位卡的标签:
- id
- model_name
- pcie_bus_info
- instance
- node(抓取或存储管道添加该标签时)
主要指标的含义如下:
如果缺少这些指标,请先修复 Exporter 或 ServiceMonitor 发现问题,然后再创建芯片故障告警。请参阅故障排除。 仅缺少错误代码序列并不能证明卡处于健康状态。还应确认同一卡的健康指标存在,并且 Exporter 能够无错误地收集 DCMI 数据。
2. 记录健康基线
记录目标 Node 上的 NPU 容量和可分配资源:
将 huawei.com/Ascend310P 替换为目标 Node 报告的资源键,例如 huawei.com/Ascend910。
同时检查 Device Plugin 状态:
在健康状态下:
- capacity 和 allocatable 相等;
- 如果目标卡尚未分配,则该卡会出现在可用设备列表中;
- 目标卡不会出现在 Fault 和 Unhealthy 列表中。
此基线非常重要,因为 NPUAllocatableReduced 检测的是 capacity 与 allocatable 之间的差异;它本身并不能证明存在硬件故障。
3. 创建生产环境告警规则
在 monitoring 命名空间中创建 PrometheusRule。以下规则集涵盖核心可观测性路径:
- NPUChipUnhealthy:exporter 报告芯片不健康;
- NPUChipErrorCodePresent:exporter 在其任一错误码指标槽位中报告 DCMI 错误码;
- NPUAllocatableReduced:Device Plugin 减少了可调度的 NPU 资源;
- NPUExporterDown:exporter 抓取目标不可用。
应用以下清单:
替换以下占位符:
- <cluster-name>:目标业务集群名称。
- <vmcluster-name>:ACP Monitoring 后端使用的 vmcluster 标签。如果环境未添加 vmcluster 标签,请移除此匹配器。
- <notification-policy-name>:现有的 ACP 通知策略。项目验证使用的是 cpaas-admin-notification。
- 如果目标环境中的资源名称、抓取作业名称和指标标签有所不同,请一并替换。
示例使用告警规则元数据版本 26。这是 ACP 告警对象的元数据版本,不是 NPU Operator 发布版本。
应用并验证规则:
预期结果是目标集群的 Cluster 作用域规则。如果规则对象存在但在 ACP 中不可见,请检查目标 ACP 版本所需的告警元数据和标签。
对于 Ascend 910 环境,如果 exporter 暴露了预期的网络指标和模型标签,请添加以下规则:
还可以添加集群范围的指标缺失规则:
该 absent 规则用于检测集群范围的采集问题,但不能证明每个预期 Node 都存在 exporter 目标。
4. 配置通知发送
PrometheusRule 通过以下配置选择 ACP 通知策略:
每个告警还会携带所选策略:
这些字段用于选择现有策略,不会创建通知服务器、接收者组、模板或策略。
在 ACP Operations Center > Notifications 中配置发送对象:
- 配置通知服务器。
- 创建接收者组,并添加所需的电子邮件、飞书、钉钉或 Webhook 目标。
- 创建或选择告警通知模板。
- 创建通知策略并记录其名称。
- 将该名称填入 PrometheusRule 中的两个字段。
有关平台操作步骤,请参阅
管理通知5. 在健康集群中验证已配置的可观测性
健康集群可用于验证配置,尽管它不会触发故障告警。
验证以下所有内容:
然后再次查询指标并确认:
- 对于每个健康芯片,npu_chip_info_health_status 均为 1;
- 每个已生成的 npu_chip_info_error_code 指标均为 0 或不存在,芯片健康指标存在,且 exporter 未报告 DCMI 采集错误;
- NPU 可分配资源等于容量;
- NPUChipUnhealthy、NPUChipErrorCodePresent 和 NPUAllocatableReduced 均未触发;
- NPUExporterDown 未触发。
此时没有活动故障告警是预期情况。这证明规则对象已安装且健康状态数据路径正常工作,但不能证明触发路径正常。触发路径需要真实的 DCMI 故障,或受支持的非生产环境故障注入测试。
6. 观察真实的 NPU 故障
当 DCMI 报告真实故障时,请按以下顺序观察事件:
- 从 exporter 查询 npu_chip_info_health_status 和 npu_chip_info_error_code,并使用 id、model_name、pcie_bus_info 以及 node 或 instance 确认对应卡。
- 等待告警规则持续时间,例如 NPUChipUnhealthy 和 NPUChipErrorCodePresent 的 2 分钟持续时间。
- 打开 ACP Operation and Maintenance Center > Alerts > Alert Policies,搜索 npu-production-fault-rules。
- 打开告警详情,确认卡的标识、当前值、错误码、严重性和通知状态。
- 检查 Node 可分配资源和 DeviceInfoCfg,确认 Device Plugin 是否已隔离该卡。
对于 SeparateNPU 故障,预期的隔离结果为:
NPUAllocatableReduced 是隔离结果信号。在将事件视为相关 NPU 故障和设备隔离事件之前,应将其与 NPUChipUnhealthy 或 NPUChipErrorCodePresent 结合判断。要确定根因是硬件、驱动程序还是其他底层问题,还需要进行额外诊断。
Device Plugin 的健康状态更新不会自动驱逐、重启或迁移已分配受影响卡的运行中 Pod。请确定受影响的工作负载,并单独按照其恢复操作步骤执行。
评估结果时使用以下状态:
如果告警在 ACP 中可见,但未发送外部消息,请先检查通知策略、接收者组、模板和通知服务器,然后再排查 NPU 指标问题。
7. 可选:在非生产环境中进行验证
项目在非生产环境中,通过在共享 Device Manager 边界注入 DCMI 故障,验证了告警触发路径。验证使用了两个特别构建的镜像:
- 使用故障注入构建标签构建的 Ascend Device Plugin 镜像;
- 使用相同故障注入支持构建的 NPU Exporter 镜像。
必须同时替换这两个镜像。只向其中一个组件注入故障,无法验证完整的检测和隔离路径。
内部验证使用了以下输入:
测试故障 0:80E3A201 被归类为 SeparateNPU。预期结果为 exporter 健康故障、非零错误码指标、Node 可分配资源减少,以及 ACP 告警处于活动状态。
故障注入镜像不属于 NPU 产品包的一部分,本文也不会公布其镜像引用或提供可直接复制粘贴的镜像替换命令。要在非生产环境中运行此验证,请联系集群管理员,获取经批准且带版本号的测试包,其中包含:
- Device Plugin 和 NPU Exporter 的镜像引用及摘要;
- 适用于两个 DaemonSet 的镜像覆盖清单;
- 经验证的 Demo PrometheusRule;
- 目标命名空间和容器名称;
- 清理和恢复命令;
- 支持的硬件和 NPU Operator 版本。
请使用同一测试包中的两个镜像,并遵循其中的清理和恢复说明。请勿使用从未经验证的来源获取的镜像,也不要在生产 DaemonSet 中设置 ASCEND_DCMI_FAULT_INJECT。在获得经批准的测试包之前,请将本节作为验证范围和证据参考,而非可执行操作步骤。
故障排除
缺少 exporter 指标
检查 exporter Pod、ServiceMonitor、Monitoring 目标,以及 Prometheus 或 VictoriaMetrics 后端选择的标签。
规则已存在,但看不到告警
检查表达式是否返回时间序列、vmcluster 和 job 标签是否与目标环境匹配,以及告警是否已持续活动满其 for 持续时间。
卡不健康,但可分配资源没有减少
检查 Device Plugin 日志和故障代码分类。经验证的故障注入路径会对归类为 SeparateNPU 的故障立即隔离卡。其他故障分类则按照其配置的处理策略处理。同时,请留出时间等待 Device Plugin 进行下一次健康状态刷新。
卡已隔离,但 Node 仍处于 Ready 状态
对于设备级隔离,这是预期行为。Device Plugin 会将受影响的卡从可供新分配的设备中移除,但不会对 Node 执行封锁。请确认 NPU 可分配数量已减少,并确认 Unhealthy 条目出现在 DeviceInfoCfg 中。不要期待 Node 显示 SchedulingDisabled。
运行中的 Pod 仍在使用不健康的卡
此操作步骤不会自动驱逐或重新调度已经使用受影响卡的 Pod。请根据卡和 Node 信息确定工作负载,然后按照该工作负载的恢复操作步骤执行。
看得到告警,但未发送通知
检查通知策略名称是否存在、接收者组和模板是否有效,以及通知服务器是否可访问。在排查 NPU 指标之前,请先检查 ACP 中的通知状态。