配置复制集群
本页将构建一个包含 2 个分片 × 2 个副本的 Alauda Data Services Analytical Database E1 集群,并在其中创建一个复制表。
复制所需条件
复制和集群范围的 DDL 都需要兼容 ZooKeeper 的协调仲裁集群。实例可以通过以下两种方式之一获取:
- 一个
ClickHouseKeeperInstallation(推荐)。 operator 从本产品已随附的服务器镜像中部署并管理 ClickHouse Keeper 仲裁集群,实例通过zookeeper.keeper下的名称引用它。operator 会将该名称解析为成员的地址。如果尚未拥有仲裁集群,部署 Keeper 仲裁集群 会创建一个名为keeper的三成员仲裁集群,下面的清单会使用它。 - 自行运行的仲裁集群。 任何兼容 ZooKeeper 的集合(包括使用本指南早期版本手动构建的 Keeper StatefulSet)都可以继续使用。请改为在
zookeeper.nodes下列出其成员,每个成员对应一个host条目。
在给定的 zookeeper 块中只能二选一,不能同时使用:operator 会将从 keeper 解析出的成员添加到 nodes 中已有的成员列表中。
实例
注意:
- 每个节点下的
port默认为 2181,因此对于标准仲裁集群,只需设置host。 shardsCount: 2和replicasCount: 2共有四个主机。每个主机都是包含一个 pod 的独立 StatefulSet,因此会获得四个 pod 和四个数据卷。- 仲裁集群可以位于另一个命名空间中;
keeper.namespace用于指定该命名空间。如果仲裁集群位于实例自身的命名空间中,请省略namespace。如果仲裁集群尚未就绪,实例会等待它。 - 集群可以使用自身的
zookeeper块覆盖实例范围的仲裁集群配置,这样同一实例中的两个集群便可以使用不同的仲裁集群。
应用配置并等待全部四个主机:
确认集群和仲裁
四行、两个分片,每个分片包含两个副本。
然后确认服务器确实可以访问仲裁:
如果该查询失败,请停在这里,先修复协调配置,然后再创建任何复制表。请参阅 ON CLUSTER DDL 因 NO_ELEMENTS_IN_CONFIG 失败。
宏
operator 会将每个主机的宏写入对应主机的配置中,因此只需编写一次表定义,即可将其应用于每个主机:
在复制路径中使用这些宏,而不是将主机名硬编码。
创建复制表
两个 ReplicatedMergeTree 参数分别是协调路径和副本标识。一个分片的两个副本必须共享路径并使用不同的标识,而宏可以确保这一点。
要跨分片查询,请添加一个使用相同表结构的 Distributed 表:
在分片上写入 analytics.events,或写入 analytics.events_all 以分发写入操作。
ON CLUSTER 需要协调元素
ON CLUSTER 并非客户端便利功能。服务器会通过协调仲裁广播该语句,因此服务器配置中必须存在仲裁元素。
只有当实例声明了协调配置时,operator 才会生成该元素;协调配置可以是 zookeeper.keeper,也可以是 zookeeper.nodes。两者都未配置的实例完全不会获得协调元素,随后每条 ON CLUSTER 语句都会因 NO_ELEMENTS_IN_CONFIG 失败——即使 stock server configuration 中已启用 distributed DDL。始终缺少的部分就是协调元素。
如果无法使用 ON CLUSTER,请在每个主机上分别运行 CREATE 语句。协调配置就绪后,优先使用 ON CLUSTER。
添加主机时的 Schema 传播
扩展拓扑时,operator 会在协调过程中将现有 Schema 传播到新主机。它会从已包含这些对象的主机读取对象定义,将每个 CREATE 重写为 CREATE ... IF NOT EXISTS,然后在新主机上执行。它传播的是 Replicated 对象和视图;一个分片中至少需要有两个主机,才会有可供复制的内容。
此行为由 schemaPolicy 控制:
replica 接受 None 或 All。shard 接受 None、All 或 DistributedTablesOnly。两者默认均为 All。将 replica: None 设置为由你自行管理 Schema。
扩展
提高 replicasCount 可为每个分片添加一个副本,或提高 shardsCount 以添加分片。operator 会一次协调一个主机:将主机从集群中排除,应用更改,等待其就绪,然后再次将其加入。添加分片不会重新分配现有数据;请单独规划此项操作。
验证复制是否正常
is_readonly = 1 表示副本已失去协调。不断增长的 queue_size 或 absolute_delay 表示副本逐渐落后。两者都值得设置告警——请参阅 Monitoring。
ClickHouse 是 ClickHouse, Inc. 的注册商标。https://clickhouse.com
Alauda 是独立供应商。本产品与 ClickHouse, Inc. 没有任何关联,也未获得其认可或赞助。所有商标均为其各自所有者的财产,此处使用商标仅用于标识目的。