巡检

执行巡检

  1. 点击左侧导航栏中的运维中心 > 巡检 > 基础巡检。

    提示:巡检页面显示最近一次巡检的巡检数据信息。在巡检过程中,您可以实时查看已完成巡检的资源数据。

  2. 在基础巡检页面,支持以下操作:

    • 执行巡检:点击页面右上角的巡检按钮,对平台执行巡检。

    • 下载巡检报告:点击页面右上角的下载报告按钮,在弹出对话框中选择报告格式(PDF 和 Excel),然后点击下载,系统会将相应格式的报告下载到本地计算机。

      • PDF 格式的巡检报告不包含资源风险详情页数据;

      • Excel 格式的巡检报告包含巡检中的所有数据;

      • 支持同时下载两种格式的报告。

巡检配置

巡检配置描述
定时巡检自动化任务执行时间规则,支持输入 Crontab 表达式。
提示:点击输入框可展开平台预设的触发规则模板,选择适当的模板,通过简单修改快速设置触发规则。
巡检记录保留要保留的巡检记录数量。
邮件通知选择邮件通知联系人。
注意:通知联系人必须已配置电子邮件。
巡检报告名称平台内置巡检通知模板用于通知联系人的名称。
巡检配置项根据平台针对证书、集群主机和 Pod 的默认巡检项,修改告警阈值或禁用巡检项。

巡检报告说明

最近一次巡检

在最近一次巡检信息区域,可以查看最近一次巡检的相关信息:

  • 巡检时间:最近一次巡检的开始和结束时间。

  • 巡检资源总数:最近一次巡检中巡检的资源总数(集群、节点、Pod、证书)。

  • 风险:存在风险的资源数量,包括分类为故障和警告的资源。

资源风险巡检

在资源风险巡检页面,可以查看 global 集群、Kubernetes 提供的业务集群、第三方集群,以及这些集群下所有节点、Pod 和证书的风险信息概览。

点击相应资源类型(集群、节点、Pod、证书)卡片上的风险详情按钮,进入该资源类型的风险详情页面。在详情页面,可以查看该资源最近一次巡检的信息,以及存在故障和警告的资源列表。

  • 点击资源名称,跳转到资源详情页面。

  • 点击列表中名称字段右侧的展开按钮,展开故障和警告的判断条件及原因。

有关各资源的风险状态判断标准(故障、警告),请参阅下表。

注意:每种资源类型的故障和警告可能根据多个条件进行判断;当资源的巡检数据符合任一判断条件时,即视为一条风险数据。

资源类型巡检范围故障判断条件警告判断条件
集群- global 集群
- Kubernetes 提供的业务集群
- 第三方集群
- 集群状态为异常;
- apiserver 连接异常
- 集群扩容(节点数/Pod 数/指标数)后,监控组件资源配置未更新。
- 日志数据量和日志采集频率增加后,日志组件资源配置未更新。
- 集群 CPU 使用率超过 60%;
- 集群内存使用率超过 60%;
- 集群 ETCD 组件中的任一 Pod 处于非 Running 状态;
- 集群中的任一主机处于非 Ready 状态;
- 集群中任意两个节点的时间差超过 40 秒;
- 集群 CPU 请求率(实际请求值 / 总量)超过 60%;
- 集群内存请求率(实际请求值 / 总量)超过 80%;
- 集群未安装监控组件;
- 集群监控组件异常;
- 集群 kube-controller-manager 组件中的任一 Pod 处于非 Running 状态;
- 集群 kube-scheduler 组件中的任一 Pod 处于非 Running 状态;
- 集群 kube-apiserver 组件中的任一 Pod 处于非 Running 状态。
节点- 所有控制平面节点
- 所有工作节点
- 节点状态为异常;
- 节点上的 node-exporter 组件 Pod 处于非 Running 状态;
- 节点上的 kubelet 组件 Pod 处于非 Running 状态。
- 节点 inode 可用数小于 1000
- 节点 CPU 使用率超过 60%;
- 节点内存使用率超过 60%;
- 节点目录磁盘空间使用率超过 60%;
- 节点系统负载超过 200% 且持续时间超过 15 分钟;
- 过去一天至少发生过一次 NodeDeadlock(节点死锁)事件;
- 过去一天至少发生过一次 NodeOOM(内存不足)事件;
- 过去一天至少发生过一次 NodeTaskHung(任务挂起)事件。
Pod所有 Pod- Pod 状态为错误;
- Pod 处于启动状态超过 5 分钟。
- Pod CPU 使用率超过 80%;
- Pod 内存使用率超过 80%;
- 过去 5 分钟内 Pod 的重启次数大于或等于 1。
证书- Certmanager 证书
- Kubernetes 证书
证书状态为已过期。证书有效期少于 29 天。

资源利用率巡检

点击资源利用率巡检页签,进入资源利用率巡检页面。

在资源利用率巡检页面,可以查看 global 集群、第三方集群和 Kubernetes 提供的业务集群的 CPU、内存和磁盘总量、使用量及使用率,以及平台上的集群、节点、Pod 和项目等资源数量。

  • 资源使用统计:可以查看 global 集群、第三方集群和 Kubernetes 提供的业务集群的 CPU、内存和磁盘总量及总使用率。

  • 平台资源数量:可以查看平台上运行的资源数量。