监控指标和视图

功能概述

Alauda AI Platform 的 Monitoring & Ops 模块中的资源监控可实时洞察推理服务的 CPU、内存、GPU、令牌使用量和请求指标。此功能可帮助您识别性能瓶颈、优化资源分配并确保服务稳定运行。它尤其适用于以下场景:

  • 性能调优:诊断高资源使用率并调整资源限制。
  • 异常检测:监控资源消耗和请求模式的突然峰值。
  • 容量规划:分析历史趋势以高效扩展资源。
  • 成本优化:跟踪令牌使用量和 GPU 利用率,以进行预算管理。

主要功能

  • 资源监控:
    • CPU 使用量:显示绝对 CPU 使用量(例如,已使用的核心数)。
    • CPU 利用率:显示 CPU 使用量占已分配资源的百分比。
    • 内存使用量:跟踪实际内存消耗(例如,以 GB 为单位)。
    • 内存利用率:显示内存使用量占已分配资源的百分比。
  • 计算监控:
    • GPU 使用量:跟踪 GPU 计算资源消耗。
    • GPU 利用率:显示 GPU 使用量占已分配资源的百分比。
    • GPU 内存使用量:监控 GPU 内存消耗。
    • GPU 内存利用率:显示 GPU 内存使用量占已分配资源的百分比。
    • 注意:MPS 部署模式不支持 GPU 计算和内存监控。
  • 其他监控:
    • 令牌指标:跟踪提示词令牌和生成令牌(适用于使用 'vllm' runtime 的服务)。
    • 请求指标:监控响应时间(平均值/tp50/p90/p95)、QPS(成功/失败)和流量(入站/出站)。
  • 时间范围选择:分析可自定义时间段内的指标(从 30 分钟到 7 天)。

访问资源监控

步骤 1:导航至推理服务详情

  1. 在左侧导航窗格中转到推理服务。
  2. 单击目标推理服务名称以打开其详情页面。

步骤 2:打开监控面板

  1. 选择监控选项卡。
  2. 确保已展开资源监控部分(默认视图)。

步骤 3:选择时间范围

使用右上角的时间选择器选择预定义范围或自定义范围:

预设选项自定义范围
最近 30 分钟开始/结束日期时间
最近 1 小时
最近 6 小时
最近 24 小时
最近 2 天
最近 7 天

监控指标

CPU 使用量

  • 描述:显示服务实际消耗的 CPU 核心数。
  • 数据格式:cores(浮点数)

CPU 利用率

  • 描述:正在使用的已分配 CPU 资源百分比。
  • 计算方式:(Used Cores / Allocated Cores) × 100%
  • 解读:
    • 持续高于 90%:考虑增加 CPU 分配量
    • <20%:可能存在资源过度分配

内存使用量

  • 描述:服务消耗的物理内存。
  • 数据格式:GiB 或 MiB
  • 重要提示:当内存使用量超过分配的内存时,Kubernetes 会因 OOM 终止进程。

内存利用率

  • 描述:正在使用的已分配内存资源百分比。
  • 计算方式:(Used Memory / Allocated Memory) × 100%

GPU 使用量

  • 描述:服务消耗的 GPU 计算资源。
  • 数据格式:计算单元
  • 注意:MPS 部署模式下不可用。

GPU 利用率

  • 描述:正在使用的已分配 GPU 计算资源百分比。
  • 计算方式:(Used GPU / Allocated GPU) × 100%
  • 注意:MPS 部署模式下不可用。

GPU 内存使用量

  • 描述:服务消耗的 GPU 内存。
  • 数据格式:GiB 或 MiB
  • 注意:MPS 部署模式下不可用。

GPU 内存利用率

  • 描述:正在使用的已分配 GPU 内存百分比。
  • 计算方式:(Used GPU Memory / Allocated GPU Memory) × 100%
  • 注意:MPS 部署模式下不可用。

令牌指标

  • 令牌提示词:跟踪处理的提示词令牌数。
  • 令牌生成量:监控模型生成的令牌数。
  • 可用性:仅适用于使用 'vllm' runtime 的推理服务。

请求指标

  • 响应时间:衡量服务响应延迟(avg/tp50/p90/p95)。
  • QPS(每秒查询数):跟踪每秒成功和失败的请求数。
  • 流量:监控入站和出站数据传输。