扩展存储
当数据卷即将填满时,可以通过增大实例的卷声明模板中的大小来扩展它。operator 会调整每个 PersistentVolumeClaim (PVC) 的大小,并逐个主机地将更改应用到实例中。
开始前需要了解两点:
- 每个主机会重启一次。StatefulSet 的卷声明模板无法原地修改,因此 operator 会使用新大小删除并重新创建每个主机的 StatefulSet。在此期间 pod 会停止运行,通常持续不到一分钟。卷上的数据会保留。
- 卷只能扩容。Kubernetes 拒绝将 PVC 调整为小于其当前容量的大小。
了解卷何时即将填满
直接向 ClickHouse 查询。在每个主机上运行:
这些数值与数据目录 /var/lib/clickhouse 上的 df 相匹配。
operator 的 metrics exporter 会为每个主机以 chi_clickhouse_metric_DiskFreeBytes 和 chi_clickhouse_metric_DiskTotalBytes 的形式发布相同的数值,并使用 chi、namespace、hostname 和 disk 进行标记。要在卷耗尽空间前收到告警,可以针对可用空间比例设置告警,例如:
在仍有可用空间时规划扩容。合并操作需要可用空间,以便在删除旧 part 之前写入合并后的 part。
开始前
-
确认 StorageClass 允许扩容。 从 PVC 中找到对应的 class,然后读取其标志:
第二条命令必须输出
true。如果没有输出,或输出false,请在此停止,并参阅卷未扩容。对于此类 StorageClass,operator 不会拒绝该更改;它会重启每个主机,但卷仍保持原来的大小。 -
为重启做好计划。 主机会依次处理,因此当
replicasCount: 1时,每个 shard 会在其所在主机重启期间不可用。每个 shard 如果有两个或更多副本,其他副本会继续为该 shard 提供服务。 -
找到要修改的模板。 数据卷来自
spec.defaults.templates.dataVolumeClaimTemplate中指定的模板(或集群、shard 或副本级别的覆盖配置)。如果存在日志卷,则来自logVolumeClaimTemplate。
扩容卷
步骤 1:在实例中增大大小
仅在卷声明模板中更改 storage:
应用清单,或使用 kubectl -n <namespace> edit chi <instance> 编辑实时对象。
如果模板来自 ClickHouseInstallationTemplate,请在其中进行更改。随后,使用该模板的每个实例都会调整大小并重启。
步骤 2:监控发布
对于每个主机,operator 依次执行以下操作:
- 增大 PVC 的请求值。在存储后端扩展卷期间,PVC 会短暂显示为
Resizing或FileSystemResizePending; - 删除该主机的 StatefulSet,并使用新大小重新创建,使 pod 重启;
- 等待 pod 就绪,然后继续处理下一个主机。
根据存储驱动程序的不同,文件系统可能在 pod 仍在运行时扩展,也可能在新 pod 挂载卷时扩展。无论哪种情况,主机恢复后,CAPACITY 都会显示新大小。最后一个主机处理完毕后,实例会恢复为 Completed。
步骤 3:验证
Completed 仅表示 operator 已完成本轮处理,并不能证明卷已扩容。请直接检查卷:
- 上方 PVC 列表中的
CAPACITY会显示该实例每个 PVC 的新大小。 system.disks(请参阅第一节)会显示每个主机上的新total。
卷未扩容
现象:更改后,所有 pod 都已重启,实例处于 Completed 状态,但 CAPACITY 仍显示旧大小。Kubernetes Event 和实例的 status.errors 中都没有相关条目。
原因只能在 operator 日志中找到:
将大小改回去会导致每个主机再次进行一次滚动重启,因为 StatefulSet 会再次重新创建。在此之前,operator 会在每次 reconcile 时记录相同的错误;之后添加的任何主机都会根据模板创建,其大小将与其他主机不一致。
不要直接调整 PVC 大小
请在实例中更改大小,而不是在 PVC 上更改。每次 reconcile 时,operator 都会将每个 PVC 的请求值设置为其模板中的大小。如果手动扩大 PVC:
- 卷确实会扩容,且不会重启;
- 下一次 reconcile 会尝试将其改回模板中的较小大小,但 Kubernetes 会拒绝此操作。此后每次 reconcile 都会记录
field can not be less than status.capacity; - 之后添加的主机会使用旧的较小大小。
如果 PVC 已经被手动调整过大小,请将模板增大到相同大小。这会导致一次滚动重启,之后错误将停止。
ClickHouse 是 ClickHouse, Inc. 的注册商标。https://clickhouse.com
Alauda 是独立供应商。本产品与 ClickHouse, Inc. 没有任何关联,也未获得其认可或赞助。所有商标均为其各自所有者的财产,此处仅用于标识目的。