创建实例

Alauda Data Services Analytical Database E1 的一个实例是一个 ClickHouseInstallation(CHI)资源。operator 会将其转换为 StatefulSets、Services、ConfigMaps 和 PersistentVolumeClaims。

前提条件

  • operator 已安装并正在运行。它以 OLM bundle 的形式交付,其 package 名称为 clickhouse-operator,随附的安装 manifest 会将其放置在 operators namespace 中。
  • 如果需要持久化数据,则需要 StorageClass。如果没有 volume claim template,数据目录将位于 pod 的可写层中,并会在重启时丢失。
  • 只有在需要复制或 ON CLUSTER DDL 时,才需要正在运行的 ZooKeeper-compatible quorum。请参阅配置复制集群。
WARNING

不要应用 operator repository 中的 kustomize-config/samples/sample.yaml。它硬编码了 namespace,固定使用 2021 年的 operand 镜像,并设置了 log volume claim template,但没有匹配的容器 security context,因此在 Pod Security Admission 为 restricted 的 namespace 中会被拒绝。请改用本页面上的 manifest。

最小实例

一个分片、一个副本,以及一个 20 GiB 数据卷:

apiVersion: clickhouse.altinity.com/v1
kind: ClickHouseInstallation
metadata:
  name: e1-demo
spec:
  defaults:
    templates:
      dataVolumeClaimTemplate: data-volume
  configuration:
    clusters:
      - name: main
        layout:
          shardsCount: 1
          replicasCount: 1
  templates:
    volumeClaimTemplates:
      - name: data-volume
        spec:
          accessModes:
            - ReadWriteOnce
          resources:
            requests:
              storage: 20Gi

将其应用到要运行数据库的 namespace 中:

kubectl -n <namespace> apply -f e1-demo.yaml

请注意,该 manifest 中没有容器镜像:不要添加它。当 pod template 未指定镜像时,operator 会使用安装时配置的 operand 镜像,该镜像从 CK_SERVER_IMAGE 环境变量中读取,并在前面加上来自 HARBOR 的 registry。若 CK_SERVER_IMAGE 为空,operator 将拒绝启动,并明确指出该变量名。

WARNING

对于由 ACP 交付的安装,请将 HARBOR 值保持为 package 设置的原始值。平台会在准入时将 operand 镜像引用重写为其自身的 registry,并且仅适用于它所期望的精确格式;更改 registry 会导致镜像拉取失败,包括在 air-gapped 环境中。

operator 创建的对象

对于上述 manifest,在 namespace <namespace> 中:

对象名称备注
StatefulSetchi-e1-demo-main-0-0每个主机一个。始终为 replicas: 1。
Podchi-e1-demo-main-0-0-0StatefulSet 的唯一 Pod。
Service(实例)clickhouse-e1-demo端口 http/8123 和 tcp/9000。
Service(每个主机)chi-e1-demo-main-0-0无头 Service。
ConfigMapchi-e1-demo-common-configd共享服务器设置,渲染到 config.d。
ConfigMapchi-e1-demo-common-usersd用户、配置文件、配额,渲染到 users.d。
ConfigMapchi-e1-demo-deploy-confd-main-0-0每个主机的设置,渲染到 conf.d。
PVC从声明模板和主机派生挂载到 /var/lib/clickhouse。
PodDisruptionBudget每个实例一个每次 reconcile 开始时创建。

“主机”是一个分片-副本对。shardsCount × replicasCount 给出主机数量,每个主机都有自己的 StatefulSet,其中恰好包含一个 Pod — CRD 明确说明:“每个副本都是一个独立的 StatefulSet,其中仅包含一个 Pod”。扩容通过添加主机完成,而不是提高 StatefulSet 的副本数。

多分片实例

三个分片,不进行复制,因此不需要 ZooKeeper:

apiVersion: clickhouse.altinity.com/v1
kind: ClickHouseInstallation
metadata:
  name: e1-sharded
spec:
  defaults:
    templates:
      dataVolumeClaimTemplate: data-volume
      podTemplate: ch-pod
  configuration:
    clusters:
      - name: main
        layout:
          shardsCount: 3
          replicasCount: 1
  templates:
    podTemplates:
      - name: ch-pod
        spec:
          securityContext:
            runAsUser: 101
            runAsGroup: 101
            fsGroup: 101
            runAsNonRoot: true
            seccompProfile:
              type: RuntimeDefault
          containers:
            - name: clickhouse
              resources:
                requests:
                  cpu: "2"
                  memory: 8Gi
                limits:
                  cpu: "4"
                  memory: 16Gi
              securityContext:
                allowPrivilegeEscalation: false
                readOnlyRootFilesystem: true
                capabilities:
                  drop:
                    - ALL
    volumeClaimTemplates:
      - name: data-volume
        spec:
          accessModes:
            - ReadWriteOnce
          resources:
            requests:
              storage: 100Gi

pod template 中的容器必须命名为 clickhouse,才能被视为服务器容器。uid/gid 101 与服务器镜像构建时使用的用户匹配。

为服务器设置一个经过容量规划的内存限制。限制过小会产生 OOMKilled,随后产生 CrashLoopBackOff — operator repository 附带了这个确切失败场景作为示例,其中使用了 32 MiB 的限制。

顶层 spec 中的实用字段

字段作用
taskID为更新命名,以便在 status.taskIDsStarted / status.taskIDsCompleted 中跟踪该更新。如果未设置,则每次更新使用随机名称。
stop"1" 会将每个 StatefulSet 设置为 Replicas: 0。Pod 和实例 Service 会被删除;PVC 会被保留。"0" 会使用保留的 PVC 将它们恢复。
restart"RollingUpdate" 会触发平滑的滚动重启。之后请移除该字段,否则后续编辑会导致不必要的重启。
troubleshoot"1" 会在服务器无法启动时保持 Pod 运行。
namespaceDomainPattern自定义集群 DNS 后缀。默认为 %s.svc.cluster.local。
defaults.replicasUseFQDN<host> 条目是否使用 FQDN。默认为 "yes"。
defaults.storageManagement.reclaimPolicyDelete(默认)或 Retain。Retain 会在删除 StatefulSet 时保留 PVC。

验证

请检查 Pod 和 StatefulSet,而不只是资源状态:

kubectl -n <namespace> get chi e1-demo
kubectl -n <namespace> get statefulset,pod -l clickhouse.altinity.com/chi=e1-demo
kubectl -n <namespace> exec chi-e1-demo-main-0-0-0 -c clickhouse -- \
  clickhouse-client -q "SELECT 1"

当每个 StatefulSet 报告的 ReadyReplicas 等于其所需的副本数时,实例即处于健康状态——这正是 operator 自身使用的就绪测试。有关旧版本中仅依赖状态字段为何不够,请参阅实例报告已完成,但 Pod 处于不健康状态。


ClickHouse 是 ClickHouse, Inc. 的注册商标。https://clickhouse.com

Alauda 是独立供应商。本产品与 ClickHouse, Inc. 没有关联,也未获得其认可或赞助。所有商标均为其各自所有者的财产,此处仅用于标识目的。