扩展存储

当数据卷即将填满时,可以通过增大实例的卷声明模板中的大小来扩展它。operator 会调整每个 PersistentVolumeClaim (PVC) 的大小,并逐个主机地将更改应用到实例中。

开始前需要了解两点:

  • 每个主机会重启一次。StatefulSet 的卷声明模板无法原地修改,因此 operator 会使用新大小删除并重新创建每个主机的 StatefulSet。在此期间 pod 会停止运行,通常持续不到一分钟。卷上的数据会保留。
  • 卷只能扩容。Kubernetes 拒绝将 PVC 调整为小于其当前容量的大小。

了解卷何时即将填满

直接向 ClickHouse 查询。在每个主机上运行:

kubectl -n <namespace> exec <pod> -c clickhouse -- clickhouse-client -q "
  SELECT name, path,
         formatReadableSize(free_space)  AS free,
         formatReadableSize(total_space) AS total,
         round(100 * (1 - free_space / total_space), 1) AS used_pct
  FROM system.disks"

这些数值与数据目录 /var/lib/clickhouse 上的 df 相匹配。

operator 的 metrics exporter 会为每个主机以 chi_clickhouse_metric_DiskFreeBytes 和 chi_clickhouse_metric_DiskTotalBytes 的形式发布相同的数值,并使用 chi、namespace、hostname 和 disk 进行标记。要在卷耗尽空间前收到告警,可以针对可用空间比例设置告警,例如:

chi_clickhouse_metric_DiskFreeBytes / chi_clickhouse_metric_DiskTotalBytes < 0.1

在仍有可用空间时规划扩容。合并操作需要可用空间,以便在删除旧 part 之前写入合并后的 part。

开始前

  1. 确认 StorageClass 允许扩容。 从 PVC 中找到对应的 class,然后读取其标志:

    kubectl -n <namespace> get pvc -l clickhouse.altinity.com/chi=<instance> \
      -o custom-columns=NAME:.metadata.name,SC:.spec.storageClassName,CAPACITY:.status.capacity.storage
    
    kubectl get storageclass <storage-class> -o jsonpath='{.allowVolumeExpansion}{"\n"}'

    第二条命令必须输出 true。如果没有输出,或输出 false,请在此停止,并参阅卷未扩容。对于此类 StorageClass,operator 不会拒绝该更改;它会重启每个主机,但卷仍保持原来的大小。

  2. 为重启做好计划。 主机会依次处理,因此当 replicasCount: 1 时,每个 shard 会在其所在主机重启期间不可用。每个 shard 如果有两个或更多副本,其他副本会继续为该 shard 提供服务。

  3. 找到要修改的模板。 数据卷来自 spec.defaults.templates.dataVolumeClaimTemplate 中指定的模板(或集群、shard 或副本级别的覆盖配置)。如果存在日志卷,则来自 logVolumeClaimTemplate。

扩容卷

步骤 1:在实例中增大大小

仅在卷声明模板中更改 storage:

spec:
  templates:
    volumeClaimTemplates:
      - name: data-volume
        spec:
          accessModes:
            - ReadWriteOnce
          storageClassName: <storage-class>
          resources:
            requests:
              storage: 200Gi   # was 100Gi

应用清单,或使用 kubectl -n <namespace> edit chi <instance> 编辑实时对象。

如果模板来自 ClickHouseInstallationTemplate,请在其中进行更改。随后,使用该模板的每个实例都会调整大小并重启。

步骤 2:监控发布

kubectl -n <namespace> get chi <instance> -w

kubectl -n <namespace> get pvc -l clickhouse.altinity.com/chi=<instance> \
  -o custom-columns=NAME:.metadata.name,REQUEST:.spec.resources.requests.storage,CAPACITY:.status.capacity.storage,CONDITIONS:.status.conditions[*].type

对于每个主机,operator 依次执行以下操作:

  1. 增大 PVC 的请求值。在存储后端扩展卷期间,PVC 会短暂显示为 Resizing 或 FileSystemResizePending;
  2. 删除该主机的 StatefulSet,并使用新大小重新创建,使 pod 重启;
  3. 等待 pod 就绪,然后继续处理下一个主机。

根据存储驱动程序的不同,文件系统可能在 pod 仍在运行时扩展,也可能在新 pod 挂载卷时扩展。无论哪种情况,主机恢复后,CAPACITY 都会显示新大小。最后一个主机处理完毕后,实例会恢复为 Completed。

步骤 3:验证

Completed 仅表示 operator 已完成本轮处理,并不能证明卷已扩容。请直接检查卷:

  • 上方 PVC 列表中的 CAPACITY 会显示该实例每个 PVC 的新大小。
  • system.disks(请参阅第一节)会显示每个主机上的新 total。

卷未扩容

现象:更改后,所有 pod 都已重启,实例处于 Completed 状态,但 CAPACITY 仍显示旧大小。Kubernetes Event 和实例的 status.errors 中都没有相关条目。

原因只能在 operator 日志中找到:

kubectl -n <operator-namespace> logs deploy/clickhouse-operator -c clickhouse-operator \
  | grep 'unable to Update PVC'
消息包含原因处理方法
only dynamically provisioned pvc can be resized and the storageclass that provisions the pvc must support resizeStorageClass 不允许扩容。将实例中的大小改回当前容量。然后询问平台管理员是否可以在 StorageClass 上启用扩容。具体取决于其背后的 CSI 驱动程序。
field can not be less than status.capacity新大小小于卷已有的大小。将大小改回当前容量。卷无法缩小。

将大小改回去会导致每个主机再次进行一次滚动重启,因为 StatefulSet 会再次重新创建。在此之前,operator 会在每次 reconcile 时记录相同的错误;之后添加的任何主机都会根据模板创建,其大小将与其他主机不一致。

不要直接调整 PVC 大小

请在实例中更改大小,而不是在 PVC 上更改。每次 reconcile 时,operator 都会将每个 PVC 的请求值设置为其模板中的大小。如果手动扩大 PVC:

  • 卷确实会扩容,且不会重启;
  • 下一次 reconcile 会尝试将其改回模板中的较小大小,但 Kubernetes 会拒绝此操作。此后每次 reconcile 都会记录 field can not be less than status.capacity;
  • 之后添加的主机会使用旧的较小大小。

如果 PVC 已经被手动调整过大小,请将模板增大到相同大小。这会导致一次滚动重启,之后错误将停止。


ClickHouse 是 ClickHouse, Inc. 的注册商标。https://clickhouse.com

Alauda 是独立供应商。本产品与 ClickHouse, Inc. 没有任何关联,也未获得其认可或赞助。所有商标均为其各自所有者的财产,此处仅用于标识目的。