故障转移到备用 global 集群
当主 global 集群发生故障,或需要有意切换到备用 global 集群时,请使用此页面。在步骤 2 中,从备用 global 集群卸载 Global Cluster Disaster Recovery(etcd-sync,即“该插件”)。在步骤 3 中,备用 global 集群将成为新的主 global 集群。在步骤 6 中,原主 global 集群将成为新的备用 global 集群。有关主集群和备用集群的定义,请参阅什么是 DR 对。
卸载插件期间没有 DR 保护。步骤 6 会恢复 DR 保护。若要稍后再次将原主 global 集群设为主集群,请再次执行故障转移;请参阅步骤 6。
准备好以下内容:
- 一台安装了
ac且可以访问备用global集群的计算机。 <standby-kubeconfig>:备用global集群安装目录中的output/kubeconfig。- 备用
global集群控制平面节点的 SSH 访问权限。 - 平台管理员帐户。
- 可以更改平台域名 DNS 记录的人员;如果每一侧使用一个 registry,还需要可以更改 registry 域名 DNS 记录的人员。
- 从主
global集群保存的业务集群和Machine对象列表;请参阅保持运行正常。
截至步骤 3(包括步骤 3),面向备用 global 集群的命令均以 export KUBECONFIG=<standby-kubeconfig> 开头,并以 unset KUBECONFIG 结尾。若要显示命令所访问的集群,请运行 ac whoami --show-server。
仅适用于计划内故障转移。 在步骤 1 之前,在两个 global 集群上运行以下命令:
然后,在主 global 集群上,检查是否没有正在进行的业务集群升级:
满足以下所有条件后继续:
- 两个集群上的每台计算机均为
Running。 - 在
cvsh列表的每一行中,REQUESTED为空或等于CURRENT,或者命令报告the server doesn't have a resource type。 - Global Disaster Recovery 中的流量在两个方向上均已允许。
如果某一行中的 REQUESTED 与 CURRENT 不同,请等待该业务集群完成升级,然后再次运行该代码块。如果升级没有进展,请参阅检查升级状态。如果其他任何条件不满足,请联系技术支持。
操作步骤
1. 隔离主集群
隔离主 global 集群,使其无法更改您的业务集群:
- 如果主
global集群已发生故障,请确认其已关机,或其 VIP 无法从业务网络访问。 - 对于计划内故障转移,请阻止业务网络访问主
global集群的 VIP。在第 2 步完成前,请勿停止主global集群的控制平面,因为第 2 步中的检查需要使用它。
如果您无法控制防火墙,请咨询网络管理员。当从业务网络无法访问主 global 集群的 VIP,或主 global 集群已关机时继续。否则,请重复隔离操作。
2. 检查一致性并卸载插件
如果检查报告存在遗漏的密钥,请勿卸载插件。解决不一致问题或联系技术支持。业务节点由 Cluster API Machine 对象支持,不一致的同步可能会删除这些对象,并销毁其背后的机器。
适用于:仍可访问的主 global 集群。如果无法访问主 global 集群,则无法运行检查,并且本页无法确认备用 global 集群包含主 global 集群的所有数据。在这种情况下,请在卸载插件前联系技术支持。向他们提供主 global 集群停止运行的时间,以及上一次成功检查的时间和结果。
在您的计算机上读取监控器的地址:
在备用 global 集群的控制平面节点上运行检查。IPv6 地址需要放在方括号中,例如 [fd00::10]:
要读取 leader 的日志,并在仍有遗漏的密钥时重启 leader:
检查通过后,从备用 global 集群卸载插件:
当最后两个命令报告 No resources found 时继续。否则,一分钟后再次运行这两个命令。如果它们仍列出对象,请联系技术支持。
将 Deployment 缩容为零还不够。ModuleInfo 仍然存在,并且在第 6 步中,新的备用 global 集群会拒绝运行并显示以下错误:
在新的主 global 集群(即您要切换到的集群)上运行上面的 ac delete moduleinfo 命令。新的备用 global 集群随后会正常启动。
检查插件的标记是否已消失:
当命令报告 NotFound 时继续。否则,等待后再次运行该命令。标记存在时,提供商不会协调业务集群。标记消失约一分钟后,它们会恢复协调。对于裸金属,提供商也会在此时接管共享的智能体身份。在完成接管之前,新的业务主机无法获取其计划。
插件卸载期间没有 DR 保护。在第 6 步完成前,请勿在任一 global 集群上创建、扩展或删除集群或节点,也不要更改其中的集群配置。如果原主 global 集群无法恢复,请在更改任何集群前联系技术支持。
3. 切换平台和 Registry 域名
将平台域名切换到备用 VIP。如果每一侧使用一个 Registry,还要将 Registry 域名切换到备用 global 集群的 Registry。备用 global 集群现在成为新的主 global 集群。检查新主 global 集群上的平台是否将域名解析到新地址:
当平台域名解析到备用 VIP,且 Registry 域名解析到备用 global 集群的 Registry 时继续。否则,修正 DNS 记录并重新运行检查。
4. 重新登录并重启依赖的 Pod
平台域名现在会访问新的主 global 集群。请重新登录,而不要继续使用切换前的会话。然后重启以下 Pod(如果已安装),使其重新加载 DR 和端点配置:
如果业务集群向 global 集群发送监控数据,还要在每个业务集群中重启 warlock:
5. 检查新的主集群
在新的主 global 集群上,验证每个业务 Cluster 和 Machine 对象均完好无损。如果 Machine 对象丢失,其节点也会被删除。
当故障转移前保存的列表中每个业务集群和 Machine 均已列出,并且满足以下提供商检查条件时继续。否则,请联系技术支持。要列出某个提供商的对象,请运行 ac get <kind> -A。
6. 将原主集群设为新的备用集群
原主 global 集群恢复正常后,将其设为新的备用 global 集群,以重新保护新的主 global 集群。在插件于其上运行之前,请保持其与业务网络隔离。在插件标记存在之前,global 集群的提供商会协调业务集群。
如果需要重新安装原主 global 集群,请先联系技术支持。
按照开始同步中的说明操作,并使用以下值:
仅限裸金属。故障转移不会更改任何计划,因此第 5 步无法显示新的主 global 集群是否提供新计划。要在第 6 步之后进行检查,请按照注册主机中的说明,使用 URL 采用平台域名的业务 ISO 注册新主机;然后按照管理裸金属上的节点中的说明,向其上的业务集群添加一个工作节点。当新的 Machine 达到 Running 时,检查通过。否则,请联系技术支持。
完成第 6 步后,双方即已同步。要在前主 global 集群恢复正常后再次将其设为主集群,请再次执行故障转移。再次按照本页面执行,但交换两侧的角色。