实例报告已完成,但 Pod 不健康
症状
kubectl get chi 显示为 Completed,但 Pod 正在重启、卡在 CrashLoopBackOff,或处于缺失状态。客户端无法连接,而实例看起来却是健康的。
原因
status.status 描述的是 operator 的协调过程,而不是数据库的运行状态。在早期版本中,operator 提交所有对象后,该过程就会被标记为完成,而不会等待由此产生的 Pod 就绪。因此,生成了永远无法启动的 Pod 的清单最终会处于 Completed。
此版本在两个方面弥补了这一差距:
- 协调过程只有在每个主机的 StatefulSet 报告其所需副本数均已就绪后才会完成。
- 如果主机在协调过程完成后降级,状态会改回
InProgress,并在主机恢复后返回Completed。
因此,在此版本中,带有失败 Pod 的持续 Completed 状态是不符合预期的。出现这种情况时,应怀疑该状态描述的是比你所应用版本更早的 spec 生成版本。
检查实际健康状况
始终根据工作负载进行确认:
每个 StatefulSet 都必须显示 READY 等于 DESIRED。这是 operator 对就绪主机的定义,因此无论状态字段显示什么,它都具有权威性。
然后读取状态记录,了解 operator 最近执行了什么操作,以及最近在哪一步失败:
这两条记录都只保留最近十条,因此应将其视为近期记录,而不是完整历史。
找出真正原因
状态过时很少是实际问题所在。请确定 Pod 无法运行的原因:
以下三种原因占了其中大多数:
对于包含错误镜像的 Pod 模板,请注意 operator 会针对每个副本应用 Pod 模板,因此一个模板中的错误镜像可能导致部分主机健康、其他主机失败——这正是造成整体状态令人困惑的情况。
保持失败的 Pod 运行以进行检查
当 Server 退出过快而无法调试时,请设置 troubleshoot 标志:
随后,operator 会在入口点失败后保持容器运行,并移除存活探针和就绪探针,因此 Pod 不会在你操作期间被终止。Exec 进入容器,读取 operator 生成的配置,然后修复 spec:
完成后移除该标志。设置该标志期间,Pod 没有任何探针,因此实例会报告存在已就绪但未提供服务的主机。
恢复
修复 spec 并重新应用。更新失败时默认会回滚,因此恢复被修改字段并重新应用是通常的解决路径。
当 reconcile 看起来卡住时,以下两个 operator 默认行为值得了解:
- StatefulSet 更新失败时会回滚,超时时间为五分钟,轮询间隔为五秒。
- StatefulSet 创建失败时会被忽略,因此 operator 会继续处理下一个主机,而不是阻塞整个实例。
确认恢复
ClickHouse 是 ClickHouse, Inc. 的注册商标。https://clickhouse.com
Alauda 是独立供应商。本产品与 ClickHouse, Inc. 没有关联,也未获得其认可或赞助。所有商标均归其各自所有者所有,此处仅用于识别目的。