ON CLUSTER DDL 因 NO_ELEMENTS_IN_CONFIG 失败

症状

任何使用 ON CLUSTER 的语句都会立即失败:

Code: 139. DB::Exception: There is no Zookeeper configuration in server config.
(NO_ELEMENTS_IN_CONFIG)

普通的单主机 DDL 可以正常工作。CREATE TABLE ... ENGINE = ReplicatedMergeTree(...) 也会因相同原因失败。

原因

ON CLUSTER 通过协调仲裁集群广播语句来执行,因此服务器需要在其配置中包含协调元素。只有在实例声明了协调节点时,operator 才会写入该元素。未声明节点时,不会写入任何内容,服务器也就没有可用于广播的目标。

分布式 DDL 在标准服务器配置中本身已启用,因此不需要额外打开某项设置。缺少的始终是协调元素。

确认

检查实例是否声明了节点:

kubectl -n <namespace> get chi <instance> \
  -o jsonpath='{.spec.configuration.zookeeper}{"\n"}'

输出为空即表示未声明节点。

检查服务器实际接收到的内容:

kubectl -n <namespace> exec <pod> -c clickhouse -- \
  grep -rl zookeeper /etc/clickhouse-server/config.d /etc/clickhouse-server/conf.d

并直接向服务器查询:

SELECT name FROM system.zookeeper WHERE path = '/';

此处失败表示服务器未配置协调功能,或无法连接到已配置的协调服务。

修复

声明仲裁集群。通常的做法是指定一个 ClickHouseKeeperInstallation,由 operator 进行部署和管理;请先按照部署 Keeper 仲裁集群中的说明创建一个:

spec:
  configuration:
    zookeeper:
      keeper:
        name: <chk-name>
        namespace: <quorum-namespace>

对于自行运行的仲裁集群,请改为列出其成员,并且不要在同一个代码块中同时使用 nodes 和 keeper:

spec:
  configuration:
    zookeeper:
      nodes:
        - host: keeper-0.keeper-headless.<quorum-namespace>
        - host: keeper-1.keeper-headless.<quorum-namespace>
        - host: keeper-2.keeper-headless.<quorum-namespace>

port 默认为 2181,对于标准仲裁集群可以省略。同一代码块中还可以配置会话和操作超时、根路径,以及经过身份验证的仲裁集群所使用的身份标识。

实例中的单个集群也可以使用自己的 zookeeper 代码块覆盖实例级设置。

应用更改。operator 会重新渲染主机配置,并逐个滚动重启主机。

验证

SELECT name FROM system.zookeeper WHERE path = '/';

CREATE DATABASE IF NOT EXISTS probe ON CLUSTER '{cluster}';
DROP DATABASE IF EXISTS probe ON CLUSTER '{cluster}';

如果已声明节点但仍然失败

此时错误会变为:

Code: 999. DB::Exception: Coordination::Exception: Cannot use any of provided ZooKeeper nodes.
(KEEPER_EXCEPTION)

该元素已存在,但不可用:服务器尝试了所有已声明的地址,但没有任何地址接受会话。请按以下顺序检查:

  1. 名称解析和可达性:从服务器 pod 访问每个已声明的地址和端口。

  2. 仲裁集群健康状态。 没有选出 leader 的仲裁集群无法提供有效响应。检查其自身状态;对于 ClickHouseKeeperInstallation,kubectl get chk 必须报告 Completed,部署 Keeper 仲裁集群中的第 2 步说明了如何检查 leader。

  3. 根路径。 如果设置了根路径,该路径必须已存在于仲裁集群中;服务器不会创建该路径。

  4. 配置是否已传递到 pod。 配置通过挂载的 ConfigMap 传递,而挂载的 ConfigMap 更新不会立即生效。operator 提供了可配置的传播超时,正是出于这一原因。如果 pod 中仍是旧内容,请等待下一次 reconcile,或检查 operator 日志。

    kubectl -n <namespace> exec <pod> -c clickhouse -- getent hosts keeper-0.keeper-headless.<quorum-namespace>
    kubectl -n <operator-namespace> logs deploy/clickhouse-operator -c clickhouse-operator | tail -50

ClickHouse 是 ClickHouse, Inc. 的注册商标。https://clickhouse.com

Alauda 是独立供应商。本产品与 ClickHouse, Inc. 没有关联,也未获得其认可或赞助。所有商标均归其各自所有者所有,此处仅用于识别目的。