故障转移到备用 global 集群

当主 global 集群发生故障,或需要有意切换到备用 global 集群时,请使用此页面。在步骤 2 中,从备用 global 集群卸载 Global Cluster Disaster Recovery(etcd-sync,即“该插件”)。在步骤 3 中,备用 global 集群将成为新的主 global 集群。在步骤 6 中,原主 global 集群将成为新的备用 global 集群。有关主集群和备用集群的定义,请参阅什么是 DR 对。

卸载插件期间没有 DR 保护。步骤 6 会恢复 DR 保护。若要稍后再次将原主 global 集群设为主集群,请再次执行故障转移;请参阅步骤 6。

情况操作
可以访问主 global 集群按照步骤 1 到 6 操作。步骤 1 到 5 无需参考其他页面。
无法访问主 global 集群执行步骤 1。然后,在步骤 2 之前联系技术支持。在获得技术支持的答复之前,请勿卸载插件或切换平台域名。

准备好以下内容:

  • 一台安装了 ac 且可以访问备用 global 集群的计算机。
  • <standby-kubeconfig>:备用 global 集群安装目录中的 output/kubeconfig。
  • 备用 global 集群控制平面节点的 SSH 访问权限。
  • 平台管理员帐户。
  • 可以更改平台域名 DNS 记录的人员;如果每一侧使用一个 registry,还需要可以更改 registry 域名 DNS 记录的人员。
  • 从主 global 集群保存的业务集群和 Machine 对象列表;请参阅保持运行正常。

截至步骤 3(包括步骤 3),面向备用 global 集群的命令均以 export KUBECONFIG=<standby-kubeconfig> 开头,并以 unset KUBECONFIG 结尾。若要显示命令所访问的集群,请运行 ac whoami --show-server。

仅适用于计划内故障转移。 在步骤 1 之前,在两个 global 集群上运行以下命令:

# Primary: ac config use-cluster global
# Standby: export KUBECONFIG=<standby-kubeconfig>, and unset KUBECONFIG afterwards
ac get machines.cluster.x-k8s.io -A

然后,在主 global 集群上,检查是否没有正在进行的业务集群升级:

ac config use-cluster global
ac -n cpaas-system get cvsh \
  -o custom-columns='CLUSTER:.metadata.name,REQUESTED:.spec.desiredUpdate.version,CURRENT:.status.current.version'

满足以下所有条件后继续:

  • 两个集群上的每台计算机均为 Running。
  • 在 cvsh 列表的每一行中,REQUESTED 为空或等于 CURRENT,或者命令报告 the server doesn't have a resource type。
  • Global Disaster Recovery 中的流量在两个方向上均已允许。

如果某一行中的 REQUESTED 与 CURRENT 不同,请等待该业务集群完成升级,然后再次运行该代码块。如果升级没有进展,请参阅检查升级状态。如果其他任何条件不满足,请联系技术支持。

操作步骤

1. 隔离主集群

隔离主 global 集群,使其无法更改您的业务集群:

  • 如果主 global 集群已发生故障,请确认其已关机,或其 VIP 无法从业务网络访问。
  • 对于计划内故障转移,请阻止业务网络访问主 global 集群的 VIP。在第 2 步完成前,请勿停止主 global 集群的控制平面,因为第 2 步中的检查需要使用它。

如果您无法控制防火墙,请咨询网络管理员。当从业务网络无法访问主 global 集群的 VIP,或主 global 集群已关机时继续。否则,请重复隔离操作。

2. 检查一致性并卸载插件

卸载 Alauda Container Platform Global Cluster Disaster Recovery 前验证一致性

如果检查报告存在遗漏的密钥,请勿卸载插件。解决不一致问题或联系技术支持。业务节点由 Cluster API Machine 对象支持,不一致的同步可能会删除这些对象,并销毁其背后的机器。

适用于:仍可访问的主 global 集群。如果无法访问主 global 集群,则无法运行检查,并且本页无法确认备用 global 集群包含主 global 集群的所有数据。在这种情况下,请在卸载插件前联系技术支持。向他们提供主 global 集群停止运行的时间,以及上一次成功检查的时间和结果。

在您的计算机上读取监控器的地址:

export KUBECONFIG=<standby-kubeconfig>
ac -n cpaas-system get svc etcd-sync-monitor -o jsonpath='{.spec.clusterIP}{"\n"}'
unset KUBECONFIG

在备用 global 集群的控制平面节点上运行检查。IPv6 地址需要放在方括号中,例如 [fd00::10]:

curl -g "http://<monitor-cluster-ip>/check"
结果操作
零个遗漏的密钥(localMissedKeys [0])继续。localSurplusKeys 仅供参考。
HTTP 425(check too frequent)等待,然后重新运行检查。
列出了遗漏的密钥(localMissedKeys)等待当前 leader 的日志显示 Start Sync update,然后重新运行检查。如果仍有遗漏的密钥,请使用以下命令重启 leader Pod,再次等待 Start Sync update,然后重新运行检查。
paused: true同步因升级而暂停。请联系技术支持。
命令失败、挂起或输出其他内容主 global 集群可能无法访问。请参阅上面的适用于。

要读取 leader 的日志,并在仍有遗漏的密钥时重启 leader:

export KUBECONFIG=<standby-kubeconfig>
leader_pod=$(ac -n cpaas-system get lease etcd-sync-mirror -o jsonpath='{.spec.holderIdentity}')
ac -n cpaas-system logs "$leader_pod" | grep "Start Sync update"
ac -n cpaas-system delete pod "$leader_pod"
unset KUBECONFIG

检查通过后,从备用 global 集群卸载插件:

export KUBECONFIG=<standby-kubeconfig>
ac whoami --show-server   # the standby VIP
ac delete moduleinfo -l cpaas.io/module-name=etcd-sync,cpaas.io/cluster-name=global
ac get moduleinfo -l cpaas.io/module-name=etcd-sync
ac -n cpaas-system get pod -l 'app in (etcd-sync,etcd-sync-monitor)'
unset KUBECONFIG

当最后两个命令报告 No resources found 时继续。否则,一分钟后再次运行这两个命令。如果它们仍列出对象,请联系技术支持。

卸载插件,而不仅仅是将其缩容

将 Deployment 缩容为零还不够。ModuleInfo 仍然存在,并且在第 6 步中,新的备用 global 集群会拒绝运行并显示以下错误:

check failed, error: moduleinfo <name> is found, it shouldn't happen,
  please remove it or check the DNS resolution of platformURL: https://<platform-domain>

在新的主 global 集群(即您要切换到的集群)上运行上面的 ac delete moduleinfo 命令。新的备用 global 集群随后会正常启动。

检查插件的标记是否已消失:

export KUBECONFIG=<standby-kubeconfig>
ac -n kube-public get configmap etcd-sync
unset KUBECONFIG

当命令报告 NotFound 时继续。否则,等待后再次运行该命令。标记存在时,提供商不会协调业务集群。标记消失约一分钟后,它们会恢复协调。对于裸金属,提供商也会在此时接管共享的智能体身份。在完成接管之前,新的业务主机无法获取其计划。

在原主 global 集群成为新的备用 global 集群之前,请勿更改集群

插件卸载期间没有 DR 保护。在第 6 步完成前,请勿在任一 global 集群上创建、扩展或删除集群或节点,也不要更改其中的集群配置。如果原主 global 集群无法恢复,请在更改任何集群前联系技术支持。

3. 切换平台和 Registry 域名

将平台域名切换到备用 VIP。如果每一侧使用一个 Registry,还要将 Registry 域名切换到备用 global 集群的 Registry。备用 global 集群现在成为新的主 global 集群。检查新主 global 集群上的平台是否将域名解析到新地址:

export KUBECONFIG=<standby-kubeconfig>
ac exec -n cpaas-system deployments/sentry -- nslookup <platform-domain>
ac exec -n cpaas-system deployments/sentry -- nslookup <registry-domain>    # only with one registry per side
unset KUBECONFIG

当平台域名解析到备用 VIP,且 Registry 域名解析到备用 global 集群的 Registry 时继续。否则,修正 DNS 记录并重新运行检查。

4. 重新登录并重启依赖的 Pod

平台域名现在会访问新的主 global 集群。请重新登录,而不要继续使用切换前的会话。然后重启以下 Pod(如果已安装),使其重新加载 DR 和端点配置:

ac login https://<platform-domain> --name <session-name>
ac config use-cluster global
ac delete po -n cpaas-system -l 'service_name in (alertmanager,vmselect,vminsert)'
ac delete po -n cpaas-system -l service_name=cluster-transformer

如果业务集群向 global 集群发送监控数据,还要在每个业务集群中重启 warlock:

ac config use-cluster <cluster-name>
ac delete po -n cpaas-system -l service_name=warlock
ac config use-cluster global

5. 检查新的主集群

在新的主 global 集群上,验证每个业务 Cluster 和 Machine 对象均完好无损。如果 Machine 对象丢失,其节点也会被删除。

ac config use-cluster global
ac get clusters.cluster.x-k8s.io -A
ac get machines.cluster.x-k8s.io -A

当故障转移前保存的列表中每个业务集群和 Machine 均已列出,并且满足以下提供商检查条件时继续。否则,请联系技术支持。要列出某个提供商的对象,请运行 ac get <kind> -A。

提供商满足以下条件时继续
裸金属每个 BaremetalMachine 仍引用预期的 MachineInventory,并且业务 BaremetalMachine 所引用的每个 MachineInventory 的 status.plan.state(status.machineInventoryRef.name)仍为 Applied。DNS 更改至少 20 分钟后,每个业务主机上的 journalctl -u elemental-system-agent --since "5 min ago" 均不显示错误;可能会出现有关计划 Secret 的警告,无需处理。global 主机仍使用本地 VIP、本地令牌和本地计划 Secret。
Huawei DCSDCSMachine 对象完好无损,且没有 VM 被删除。业务集群的凭证 Secret 存在于 cpaas-system 中。
VMware vSphereVSphereMachine、VSphereVM 和 VSphereMachineConfigPool 对象完好无损,且没有 VM 被删除。池的插槽和持久磁盘状态必须已在同步过程中保留。业务集群的 vCenter 凭证 Secret 存在于 cpaas-system 中。
Huawei Cloud StackHCSCluster global 将其自身一侧的 VIP 报告为控制平面端点,且平台 ELB 侦听器可通过该 VIP 响应。HCSMachine 和 HCSMachineConfigPool 对象完好无损,且没有实例被删除。池的持久磁盘状态必须已在同步过程中保留。业务集群的 HCS 凭证 Secret 存在于 cpaas-system 中。

6. 将原主集群设为新的备用集群

原主 global 集群恢复正常后,将其设为新的备用 global 集群,以重新保护新的主 global 集群。在插件于其上运行之前,请保持其与业务网络隔离。在插件标记存在之前,global 集群的提供商会协调业务集群。

如果需要重新安装原主 global 集群,请先联系技术支持。

按照开始同步中的说明操作,并使用以下值:

该部分中的内容故障转移后
主 global 集群新的主 global 集群:平台域名当前指向的集群
备用 global 集群和 <standby-kubeconfig>新的备用 global 集群(原主 global 集群),以及其自身的 output/kubeconfig
--platform-address 和 --dest-repo(属于 violet push)新的备用 global 集群的 VIP 和 Registry
活动 Global 集群 VIP新的主 global 集群的 VIP
活动 Global 集群 ETCD 端点新的主 global 集群控制平面节点的 etcd 地址:https://<control-plane-node-ip>:2379,地址之间以逗号分隔。使用 Self-built VIP 时必填。使用负载均衡器时,如果两侧 global 集群的负载均衡器都转发 2379,则可以留空;请参阅全局灾难恢复
etcd-sync-active-cluster-token 的令牌新的主 global 集群的 cpaas-system/k8sadmin 令牌

仅限裸金属。故障转移不会更改任何计划,因此第 5 步无法显示新的主 global 集群是否提供新计划。要在第 6 步之后进行检查,请按照注册主机中的说明,使用 URL 采用平台域名的业务 ISO 注册新主机;然后按照管理裸金属上的节点中的说明,向其上的业务集群添加一个工作节点。当新的 Machine 达到 Running 时,检查通过。否则,请联系技术支持。

完成第 6 步后,双方即已同步。要在前主 global 集群恢复正常后再次将其设为主集群,请再次执行故障转移。再次按照本页面执行,但交换两侧的角色。

故障排除

症状首先检查
新备用集群的 etcd-sync 无法运行第 2 步中的警告。
故障转移后未协调业务机器新主 global 集群上是否仍存在 kube-public/etcd-sync。
裸金属:故障转移后,业务主机立即获取 401 或 403插件移除后等待约一分钟。然后检查共享令牌 Secret 和 Role resourceNames。