监控 HAMi 使用情况

可以通过 ACP 监控,以及在已安装 HAMi WebUI 的情况下,通过 HAMi WebUI 查看 HAMi 的使用情况。

ACP 监控面板

使用 ACP 监控面板可将加速器指标与其他集群和工作负载指标一同查看。

  1. 打开 Administrator -> Operations Center -> Monitor -> Dashboards。
  2. 选择为您的环境提供的 HAMi 或加速器监控面板。
  3. 检查工作负载使用情况、设备使用情况和 exporter 抓取状态。

监控面板管理属于 ACP 监控。有关监控面板导入和管理的信息,请参阅 管理监控面板。

对于 HAMi NVIDIA 监控路径,本 Documentation site 提供了一个 MonitorDashboard 资源。将 hami-vgpu-metrics-dashboard-v1.0.2.yaml 下载到可访问业务集群的计算机,然后应用它:

kubectl apply -f hami-vgpu-metrics-dashboard-v1.0.2.yaml

该监控面板使用 HAMi 和 NVIDIA 指标。请通过 NVIDIA GPU 产品文档安装并验证 NVIDIA 指标组件;监控面板清单不会安装这些组件。

HAMi WebUI

如果已安装 Alauda AI Infrastructure Accelerator Virtualization Console,请打开 {platform-url}/clusters/{cluster-name}/hami-webui。有关 Prometheus 身份验证、NodePort 和后端查询验证的信息,请参阅 安装 Alauda AI Infrastructure Accelerator Virtualization Console。

需要 HAMi 专用资源概览时,请使用 HAMi WebUI。需要平台范围的监控面板、告警和指标管理时,请使用 ACP 监控。

HAMi Ascend 软切分指标

HAMi Ascend Device Plugin v1.4.1 为软切分提供内置的 Pod 和容器内存指标。在 HAMiAscendDevicePlugin 实例中启用 ServiceMonitor,即可使这些指标可供 ACP 监控使用。

对于由 HAMi 管理的整卡工作负载,请使用下文所述的 Ascend NPU Exporter 监控路径。由 HAMi 管理的硬切分工作负载目前不提供工作负载级别的指标。软切分提供 Pod 和容器内存指标。软切分工作负载显示的计算利用率是底层物理设备的利用率,因此共享该设备的工作负载会报告相同的值。

指标来源

HAMi 不会安装厂商指标组件。

有关项目级 HAMi 配额监控面板或告警,请参阅配置项目级 HAMi 配额指标。此记录规则为可选项,与用于显示配额字段的 ACP 资源元数据 ConfigMap 相互独立。

  • 对于 NVIDIA 后端指标,请使用 Alauda Build of DCGM-Exporter,并按照 NVIDIA GPU 指标文档进行安装和验证。DCGM-Exporter 是 NVIDIA GPU 监控组件,并非 HAMi 组件。
  • 对于 Ascend 后端指标,当 NPUOperatorCtl 实例中启用了 Exporter 组件时,Alauda Build of NPU Operator 会管理 NPU Exporter。NPU Exporter 是 Ascend NPU 监控组件,并非 HAMi 组件。请使用 Ascend NPU 监控文档验证 Exporter 并集成监控面板。

请参阅后端页面,确认哪个组件负责指标路径: