监控指标和视图
功能概述
Alauda AI Platform 的 Monitoring & Ops 模块中的资源监控可实时洞察推理服务的 CPU、内存、GPU、令牌使用量和请求指标。此功能可帮助您识别性能瓶颈、优化资源分配并确保服务稳定运行。它尤其适用于以下场景:
- 性能调优:诊断高资源使用率并调整资源限制。
- 异常检测:监控资源消耗和请求模式的突然峰值。
- 容量规划:分析历史趋势以高效扩展资源。
- 成本优化:跟踪令牌使用量和 GPU 利用率,以进行预算管理。
主要功能
- 资源监控:
- CPU 使用量:显示绝对 CPU 使用量(例如,已使用的核心数)。
- CPU 利用率:显示 CPU 使用量占已分配资源的百分比。
- 内存使用量:跟踪实际内存消耗(例如,以 GB 为单位)。
- 内存利用率:显示内存使用量占已分配资源的百分比。
- 计算监控:
- GPU 使用量:跟踪 GPU 计算资源消耗。
- GPU 利用率:显示 GPU 使用量占已分配资源的百分比。
- GPU 内存使用量:监控 GPU 内存消耗。
- GPU 内存利用率:显示 GPU 内存使用量占已分配资源的百分比。
- 注意:MPS 部署模式不支持 GPU 计算和内存监控。
- 其他监控:
- 令牌指标:跟踪提示词令牌和生成令牌(适用于使用 'vllm' runtime 的服务)。
- 请求指标:监控响应时间(平均值/tp50/p90/p95)、QPS(成功/失败)和流量(入站/出站)。
- 时间范围选择:分析可自定义时间段内的指标(从 30 分钟到 7 天)。
访问资源监控
步骤 1:导航至推理服务详情
- 在左侧导航窗格中转到推理服务。
- 单击目标推理服务名称以打开其详情页面。
步骤 2:打开监控面板
- 选择监控选项卡。
- 确保已展开资源监控部分(默认视图)。
步骤 3:选择时间范围
使用右上角的时间选择器选择预定义范围或自定义范围:
监控指标
CPU 使用量
- 描述:显示服务实际消耗的 CPU 核心数。
- 数据格式:
cores(浮点数)
CPU 利用率
- 描述:正在使用的已分配 CPU 资源百分比。
- 计算方式:
(Used Cores / Allocated Cores) × 100% - 解读:
- 持续高于 90%:考虑增加 CPU 分配量
- <20%:可能存在资源过度分配
内存使用量
- 描述:服务消耗的物理内存。
- 数据格式:
GiB或MiB - 重要提示:当内存使用量超过分配的内存时,Kubernetes 会因 OOM 终止进程。
内存利用率
- 描述:正在使用的已分配内存资源百分比。
- 计算方式:
(Used Memory / Allocated Memory) × 100%
GPU 使用量
- 描述:服务消耗的 GPU 计算资源。
- 数据格式:计算单元
- 注意:MPS 部署模式下不可用。
GPU 利用率
- 描述:正在使用的已分配 GPU 计算资源百分比。
- 计算方式:
(Used GPU / Allocated GPU) × 100% - 注意:MPS 部署模式下不可用。
GPU 内存使用量
- 描述:服务消耗的 GPU 内存。
- 数据格式:
GiB或MiB - 注意:MPS 部署模式下不可用。
GPU 内存利用率
- 描述:正在使用的已分配 GPU 内存百分比。
- 计算方式:
(Used GPU Memory / Allocated GPU Memory) × 100% - 注意:MPS 部署模式下不可用。
令牌指标
- 令牌提示词:跟踪处理的提示词令牌数。
- 令牌生成量:监控模型生成的令牌数。
- 可用性:仅适用于使用 'vllm' runtime 的推理服务。
请求指标
- 响应时间:衡量服务响应延迟(avg/tp50/p90/p95)。
- QPS(每秒查询数):跟踪每秒成功和失败的请求数。
- 流量:监控入站和出站数据传输。