实例报告已完成,但 Pod 不健康

症状

kubectl get chi 显示为 Completed,但 Pod 正在重启、卡在 CrashLoopBackOff,或处于缺失状态。客户端无法连接,而实例看起来却是健康的。

原因

status.status 描述的是 operator 的协调过程,而不是数据库的运行状态。在早期版本中,operator 提交所有对象后,该过程就会被标记为完成,而不会等待由此产生的 Pod 就绪。因此,生成了永远无法启动的 Pod 的清单最终会处于 Completed。

此版本在两个方面弥补了这一差距:

  • 协调过程只有在每个主机的 StatefulSet 报告其所需副本数均已就绪后才会完成。
  • 如果主机在协调过程完成后降级,状态会改回 InProgress,并在主机恢复后返回 Completed。

因此,在此版本中,带有失败 Pod 的持续 Completed 状态是不符合预期的。出现这种情况时,应怀疑该状态描述的是比你所应用版本更早的 spec 生成版本。

检查实际健康状况

始终根据工作负载进行确认:

kubectl -n <namespace> get statefulset -l clickhouse.altinity.com/chi=<instance> \
  -o custom-columns=NAME:.metadata.name,DESIRED:.spec.replicas,READY:.status.readyReplicas

kubectl -n <namespace> get pods -l clickhouse.altinity.com/chi=<instance>

每个 StatefulSet 都必须显示 READY 等于 DESIRED。这是 operator 对就绪主机的定义,因此无论状态字段显示什么,它都具有权威性。

然后读取状态记录,了解 operator 最近执行了什么操作,以及最近在哪一步失败:

kubectl -n <namespace> get chi <instance> -o jsonpath='{.status.status}{"\n"}'
kubectl -n <namespace> get chi <instance> -o jsonpath='{.status.errors}' | tr ',' '\n'
kubectl -n <namespace> get chi <instance> -o jsonpath='{.status.actions}' | tr ',' '\n'

这两条记录都只保留最近十条,因此应将其视为近期记录,而不是完整历史。

找出真正原因

状态过时很少是实际问题所在。请确定 Pod 无法运行的原因:

kubectl -n <namespace> describe pod <pod>
kubectl -n <namespace> logs <pod> -c clickhouse --previous
kubectl -n <namespace> get events --sort-by=.lastTimestamp | tail -30

以下三种原因占了其中大多数:

证据原因
ImagePullBackOff、ErrImagePullPod 模板指定了不存在或无法拉取的镜像。
Server 立即退出,日志中存在配置错误spec.configuration.settings 下存在无效条目。无法识别的设置路径会按原样写入 Server 配置,而 Server 会拒绝启动。
OOMKilled、退出代码 137容器内存限制过小。请参阅 合并期间 Server Pod 因 OOMKilled 终止。

对于包含错误镜像的 Pod 模板,请注意 operator 会针对每个副本应用 Pod 模板,因此一个模板中的错误镜像可能导致部分主机健康、其他主机失败——这正是造成整体状态令人困惑的情况。

保持失败的 Pod 运行以进行检查

当 Server 退出过快而无法调试时,请设置 troubleshoot 标志:

kubectl -n <namespace> patch chi <instance> --type=merge -p '{"spec":{"troubleshoot":"1"}}'

随后,operator 会在入口点失败后保持容器运行,并移除存活探针和就绪探针,因此 Pod 不会在你操作期间被终止。Exec 进入容器,读取 operator 生成的配置,然后修复 spec:

kubectl -n <namespace> exec <pod> -c clickhouse -- \
  ls -l /etc/clickhouse-server/config.d /etc/clickhouse-server/users.d /etc/clickhouse-server/conf.d

完成后移除该标志。设置该标志期间,Pod 没有任何探针,因此实例会报告存在已就绪但未提供服务的主机。

恢复

修复 spec 并重新应用。更新失败时默认会回滚,因此恢复被修改字段并重新应用是通常的解决路径。

当 reconcile 看起来卡住时,以下两个 operator 默认行为值得了解:

  • StatefulSet 更新失败时会回滚,超时时间为五分钟,轮询间隔为五秒。
  • StatefulSet 创建失败时会被忽略,因此 operator 会继续处理下一个主机,而不是阻塞整个实例。

确认恢复

kubectl -n <namespace> get statefulset -l clickhouse.altinity.com/chi=<instance> \
  -o custom-columns=NAME:.metadata.name,DESIRED:.spec.replicas,READY:.status.readyReplicas
kubectl -n <namespace> exec <pod> -c clickhouse -- clickhouse-client -q "SELECT 1"

ClickHouse 是 ClickHouse, Inc. 的注册商标。https://clickhouse.com

Alauda 是独立供应商。本产品与 ClickHouse, Inc. 没有关联,也未获得其认可或赞助。所有商标均归其各自所有者所有,此处仅用于识别目的。