监控 HAMi 使用情况
可以通过 ACP 监控查看 HAMi 的使用情况;如果已安装 HAMi WebUI,也可以通过它查看。
ACP 监控面板
使用 ACP 监控面板查看加速器指标,以及其他集群和工作负载指标。
- 打开
Administrator->Operations Center->Monitor->Dashboards。 - 选择为你的环境提供的 HAMi 或加速器监控面板。
- 查看工作负载使用情况、设备使用情况和 exporter 抓取状态。
监控面板由 ACP 监控管理。有关监控面板的导入和管理,请参阅 管理监控面板。
对于 HAMi NVIDIA 监控路径,此文档站点提供了一个 MonitorDashboard 资源。将 hami-vgpu-metrics-dashboard-v1.0.2.yaml 下载到可访问业务集群的机器上,然后应用该资源:
该监控面板会使用 HAMi 和 NVIDIA 指标。请通过 NVIDIA GPU 产品文档安装并验证 NVIDIA 指标组件;监控面板清单不会安装这些组件。
HAMi WebUI
如果已安装 Alauda Build of HAMi-WebUI,请打开 {platform-url}/clusters/{cluster-name}/hami-webui。有关 Prometheus 身份验证、NodePort 和后端查询验证,请参阅 安装 HAMi-WebUI。
需要 HAMi 专属资源概览时,请使用 HAMi WebUI。需要平台范围内的监控面板、告警和指标管理时,请使用 ACP 监控。
HAMi Ascend 软切分指标
HAMi Ascend Device Plugin v1.4.0 为软切分提供内置的 Pod 和容器内存指标。在 HAMiAscendDevicePlugin 实例中启用 ServiceMonitor,即可让 ACP 监控获取这些指标。
对于由 HAMi 管理的整卡工作负载,请使用下文所述的 Ascend NPU Exporter 监控路径。目前,由 HAMi 管理的硬切分工作负载不提供工作负载级别的指标。软切分提供 Pod 和容器内存指标。软切分工作负载显示的计算利用率是底层物理设备的利用率,因此,共享该设备的工作负载会报告相同的值。
指标来源
HAMi 不会安装厂商指标组件。
如需项目级 HAMi 配额监控面板或告警,请参阅配置项目级 HAMi 配额指标。这是可选的 recording rule,与用于显示配额字段的 ACP 资源元数据 ConfigMap 不同。
- 对于 NVIDIA 后端指标,请使用
Alauda Build of DCGM-Exporter,并按照 NVIDIA GPU metrics documentation 进行安装和验证。DCGM-Exporter 是 NVIDIA GPU 监控组件,不属于 HAMi。 - 对于 Ascend 后端指标,如果在
NPUOperatorCtl实例中启用了导出器组件,则Alauda Build of NPU Operator会管理 NPU Exporter。NPU Exporter 是 Ascend NPU 监控组件,不属于 HAMi。请使用 Ascend NPU monitoring documentation 验证导出器并集成监控面板。
请查看后端页面,确认由哪个组件负责指标路径: