在业务集群之后升级备用 global 集群

本页介绍如何在同一次要版本内执行补丁升级,适用于 ACP 4.5.0 或更高版本,且备用集群不与主集群同时升级的情况:先升级主集群和你选择的业务集群,然后再升级备用集群。插件会保持安装状态,并且同步会暂停,因此备用集群仍然是备用集群。从暂停同步到恢复并检查同步期间,包括升级主集群、这些业务集群和备用集群的整个过程中,均没有 DR 保护;在此期间,除这些升级和本页中的步骤外,不要对任一 global 集群进行任何更改。对于次要版本升级,或要在业务集群之前升级两个 global 集群,请使用在 DR 环境中升级 global 集群;升级顺序和兼容性对这两种流程进行了比较。

开始之前

  • 两个 global 集群运行相同的 ACP 版本(Distribution Version),版本为 4.5.0 或更高,并且目标版本是同一次要版本中的更高补丁版本。本页中的 <target-version> 指该目标 ACP 版本,例如 4.5.1。
  • 两个 global 集群均已完成为升级做准备。这些项目不会在两个集群之间同步,因此两侧都需要分别准备:已发布的软件包(包括备用集群上的 Global Cluster Disaster Recovery 软件包);Alauda OS 镜像 ConfigMap 或 catalog 条目;管理员确认;ResourcePatch 豁免项;以及允许继续操作的预检结果。在备用集群上,除 DRSplitUpgradeWindow 外,其他所有检查都必须通过;在下文禁用 token rotator 并暂停同步后,该检查也会通过。
  • 每个 global 集群都有近期成功创建的 etcd 备份,具体说明请参阅检查 etcd 备份。
  • 你已登录执行主机,并以 ac login 身份作为平台管理员,在已解压的目标 Core Package 的 installer/ 目录中;同时,备用集群的 kubeconfig 指向其 VIP:<standby-kubeconfig>。

在主集群上,ac 命令使用 ac login 会话;在 ac config use-cluster global 之后,upgrade.sh 使用 kubectl 和 ac login 保存的 kubeconfig;ac whoami --show-server 会输出 https://<platform-address>/kubernetes/global/。备用集群的每个命令块都以 export KUBECONFIG=<standby-kubeconfig> 开头,以 unset KUBECONFIG 结尾,而 ac whoami --show-server 会输出备用集群的 VIP。继续执行命令块之前,请确认输出的地址。

升级主集群和业务集群

验证数据一致性

WARNING

在此检查通过之前,不要暂停同步。

在 standby global 集群的控制平面节点上运行检查,然后返回执行主机:

export KUBECONFIG=/etc/kubernetes/admin.conf
mirror_svc=$(kubectl get svc -n cpaas-system etcd-sync-monitor -o jsonpath='{.spec.clusterIP}')
if [[ $mirror_svc =~ ^[0-9a-fA-F:]+$ ]]; then mirror_host="[$mirror_svc]"; else mirror_host="$mirror_svc"; fi
curl -g "http://${mirror_host}/check"
结果操作
localMissedKeys [0]继续。localSurplusKeys 仅供参考。
check too frequent等待一分钟后再次运行检查;如果结果没有变化,请联系技术支持。
localMissedKeys 不为 [0]执行Global Cluster Disaster Recovery Does Not Synchronize中的步骤,然后再次运行检查。

然后检查机器和正在进行的升级。在主集群上:

ac config use-cluster global
ac whoami --show-server
ac get machines.platform.tkestack.io
ac get machines.cluster.x-k8s.io -A   # Alauda OS
ac -n cpaas-system get cvsh \
  -o custom-columns='CLUSTER:.metadata.name,REQUESTED:.spec.desiredUpdate.version,CURRENT:.status.current.version'

在 standby 上:

export KUBECONFIG=<standby-kubeconfig>
ac whoami --show-server   # the standby VIP
ac get machines.platform.tkestack.io
ac get machines.cluster.x-k8s.io -A   # Alauda OS
unset KUBECONFIG
结果操作
两个 global 集群中的每台机器均为 Running,且 cvsh 列表的每一行中,REQUESTED 为空或等于 CURRENT继续。
cvsh 列表中的某一行上,REQUESTED 与 CURRENT 不同在该业务集群升级完成后,再次在主集群上运行代码块。如果该升级没有进展,请参阅Inspect Upgrade State。
某台机器不是 Running联系技术支持。

准备两个 global 集群

在 standby 上,重启 cluster-transformer Pods,确保暂停之前启动的工作不会继续在 standby 上运行;并禁用 token rotator,否则它可能会撤销主集群仍在使用的业务集群令牌。set env 命令会打印 The operation is allowed, and ResourcePatch <name> is created;此代码块会针对目标版本豁免该 ResourcePatch,以免 preflight 因此受阻:

export KUBECONFIG=<standby-kubeconfig>
ac whoami --show-server   # the standby VIP
ac -n cpaas-system delete pod -l service_name=cluster-transformer
ac -n cpaas-system set env deploy/cluster-api-provider-alauda-manager \
  -c cluster-api-provider-alauda CLUSTER_TOKEN_ROTATOR_ENABLED=false
ac -n cpaas-system rollout status deploy/cluster-api-provider-alauda-manager
RP=$(ac get resourcepatches \
  -o jsonpath='{range .items[?(@.spec.target.name=="cluster-api-provider-alauda-manager")]}{.metadata.name}{"\n"}{end}')
ac annotate resourcepatches "${RP}" config.cpaas.io/exempt-for-ver=<target-version> --overwrite
ac -n cpaas-system get pod -l service_name=cluster-transformer
ac -n cpaas-system get deploy cluster-api-provider-alauda-manager \
  -o jsonpath='{.spec.template.spec.containers[?(@.name=="cluster-api-provider-alauda")].env[?(@.name=="CLUSTER_TOKEN_ROTATOR_ENABLED")].value}{"\n"}'
unset KUBECONFIG

在主集群上,禁用 token rotator,并同样豁免其 ResourcePatch:暂停的 standby 不会收到它写入的令牌,而 standby 的副本会在主集群的 token rotator 删除被替换的令牌时停止工作:

ac config use-cluster global
ac whoami --show-server   # ends with /kubernetes/global/
ac -n cpaas-system set env deploy/cluster-api-provider-alauda-manager \
  -c cluster-api-provider-alauda CLUSTER_TOKEN_ROTATOR_ENABLED=false
ac -n cpaas-system rollout status deploy/cluster-api-provider-alauda-manager
RP=$(ac get resourcepatches \
  -o jsonpath='{range .items[?(@.spec.target.name=="cluster-api-provider-alauda-manager")]}{.metadata.name}{"\n"}{end}')
ac annotate resourcepatches "${RP}" config.cpaas.io/exempt-for-ver=<target-version> --overwrite
ac -n cpaas-system get deploy cluster-api-provider-alauda-manager \
  -o jsonpath='{.spec.template.spec.containers[?(@.name=="cluster-api-provider-alauda")].env[?(@.name=="CLUSTER_TOKEN_ROTATOR_ENABLED")].value}{"\n"}'

当两侧的 rollout 均已完成、annotate 将 ResourcePatch 报告为已添加注释,且最后一条命令打印 false,并且 standby 上的每个 cluster-transformer Pod 都为 Running 时,继续。然后在 standby 上运行 preflight 检查:

export KUBECONFIG=<standby-kubeconfig>
ac whoami --show-server   # the standby VIP
bash upgrade.sh --preflight
unset KUBECONFIG
结果操作
DRSplitUpgradeWindow 是唯一失败的检查,且其唯一原因是 EtcdSyncNotPaused继续。
DRSplitUpgradeWindow 因其他原因失败请参阅 DR Standby Checks,然后再次运行检查。
另一项检查失败请参阅 Handle Preflight Blocks,然后再次运行检查。

暂停同步

WARNING

从暂停同步到恢复并检查同步期间,将没有 DR 保护。不要切换到 standby。不要卸载插件:卸载会移除插件创建的 DR 标记 kube-public/etcd-sync,随后 standby 会对业务集群采取操作。除Resume Synchronization中所述外,不要删除或编辑该标记或 cpaas-system/etcd-sync-control。在任一 global 集群上,除本页所述的升级和步骤外,不要进行任何更改:包括主集群、业务集群和 standby。

在 standby 上暂停同步,选择一个变更引用作为 reason,然后读取暂停状态、其消息和自检(status.pauseCheck),以及 DR 标记:

export KUBECONFIG=<standby-kubeconfig>
ac whoami --show-server   # the standby VIP
if ac -n cpaas-system get configmap etcd-sync-control >/dev/null 2>&1; then
  ac -n cpaas-system patch configmap etcd-sync-control --type merge \
    -p '{"data":{"mode":"Paused","reason":"<change-reference>"}}'
else
  ac -n cpaas-system create configmap etcd-sync-control \
    --from-literal=mode=Paused --from-literal=reason="<change-reference>"
fi
ac -n cpaas-system get configmap etcd-sync-control \
  -o jsonpath='{.data.mode}{" "}{.data.status\.phase}{" "}{.data.status\.observedMode}{"\n"}{.data.status\.message}{"\n"}{.data.status\.pauseCheck}{"\n"}'
ac -n kube-public get configmap etcd-sync -o name
unset KUBECONFIG

不包含从 if 到 fi 的行,再次运行代码块,直到地址后面那一行中的第二个值为 Paused。表中的“状态行”即指该行。

结果操作
状态行为 Paused Paused Paused,status.pauseCheck 行未显示 error,且最后一条命令打印 configmap/etcd-sync继续。unexpected 仅供参考。
状态行上的第二个和第三个值始终为空etcd-sync 未接受该请求。不要升级主集群;请联系技术支持。
再次运行代码块时,状态行仍为 Paused Pausing Paused 或 Paused Running Running查看 status.message 行并联系技术支持。
已设置 error,或缺少该标记不要升级主集群;请联系技术支持。

升级主 global 集群

WARNING

升级无法回滚。如果目标版本更改了 Kubernetes 构建版本或 Alauda OS 镜像,则该请求还会在 Huawei DCS、Huawei Cloud Stack 和 VMware vSphere 上将每个节点替换为新的 VM,并在 Bare Metal 上逐台重新安装每台主机。

在主集群上,部署 Cluster Version Operator (CVO) 和目标版本信息。<target-version> 是目标 ACP 版本:

ac config use-cluster global
ac whoami --show-server   # ends with /kubernetes/global/
bash upgrade.sh --skip-sync-image
ac get productmanifest v<target-version>
结果操作
脚本成功完成且没有错误,并且 READY 为 True继续。
脚本报告产品清单未就绪,或 READY 不为 True按照Recover a Missing Aligned Extension Package中的说明操作。
脚本因其他错误而失败联系技术支持。

然后运行最终 preflight 检查:

ac config use-cluster global
ac whoami --show-server   # ends with /kubernetes/global/
bash upgrade.sh --preflight

当 Summary 显示 Passed 或 PassedWithWarnings 时,继续。否则,按照Handle Preflight Blocks中的说明解决主集群上的检查问题,然后再次运行检查;此处可能会首次出现 AdminAckRequired,请参阅Handle Administrator Acknowledgement Gates。然后使用 ac adm upgrade 中列出的确切目标版本请求升级:

ac adm upgrade
ac adm upgrade --cluster=global --to=<target-version>

监控升级:

ac adm upgrade status --cluster=global
ac -n cpaas-system get infraclusterversion global   # Alauda OS

重复运行这些命令,直到 Current 显示目标版本且 Ready 为 True,并且在 Alauda OS 上 PHASE 为 Succeeded。替换控制平面节点期间,命令可能无法连接;请重新运行。如果 Upgrade 显示 Blocked 或 Retrying,请参阅Inspect Upgrade State。在 Alauda OS 上,如果升级在 Kubernetes 阶段保持 InProgress,请按该文档中的说明读取 InfraClusterVersion 的 Stalled 条件。修复报告的问题后,升级将继续;如果无法修复,请联系技术支持。

升级业务集群

首先,在主集群上检查升级后 token rotator 是否仍处于禁用状态:

ac config use-cluster global
ac whoami --show-server   # ends with /kubernetes/global/
ac -n cpaas-system get deploy cluster-api-provider-alauda-manager \
  -o jsonpath='{.spec.template.spec.containers[?(@.name=="cluster-api-provider-alauda")].env[?(@.name=="CLUSTER_TOKEN_ROTATOR_ENABLED")].value}{"\n"}'

如果命令打印 false,则继续;否则,再次运行准备两个 global 集群中的主集群代码块。然后在主集群上完成Upgrade Validation。

按照Upgrade Workload Clusters升级当前选择要升级的业务集群,但请注意以下差异,然后返回本页:

当已升级的每个业务集群都在 Current 中显示目标版本,且 Ready 为 True、已通过验证,并且没有正在运行的业务集群升级时,继续。完成本页后再升级其他业务集群。

升级备用集群并恢复同步

升级备用集群前检查状态

返回升级备用集群时,请从这里开始。如果会话已过期,请使用 ac login 重新登录,并检查每个 global 集群是否仍有最近一次成功的 etcd 备份,如开始之前所述。然后检查状态是否未发生变化。在主集群上:

ac config use-cluster global
ac whoami --show-server   # ends with /kubernetes/global/
ac adm upgrade status --cluster=global
ac -n cpaas-system get cvsh \
  -o custom-columns='CLUSTER:.metadata.name,REQUESTED:.spec.desiredUpdate.version,CURRENT:.status.current.version'
ac -n cpaas-system get deploy cluster-api-provider-alauda-manager \
  -o jsonpath='{.spec.template.spec.containers[?(@.name=="cluster-api-provider-alauda")].env[?(@.name=="CLUSTER_TOKEN_ROTATOR_ENABLED")].value}{"\n"}'

当 Current 显示目标版本且 Ready 为 True,cvsh 列表中的每一行都满足 REQUESTED 为空或等于 CURRENT,并且最后一条命令输出 false 时,继续操作。将此 Current 值用作备用集群的 <target-version>。

在备用集群上,检查暂停状态和标记,然后从执行主机检查插件的令牌是否仍可访问主集群。此代码块会从插件设置中读取主集群 VIP,并将 IPv6 地址括在方括号中;令牌通过标准输入传递给 curl,不会被打印:

export KUBECONFIG=<standby-kubeconfig>
ac whoami --show-server   # the standby VIP
ac -n cpaas-system get configmap etcd-sync-control \
  -o jsonpath='{.data.mode}{" "}{.data.status\.phase}{" "}{.data.status\.observedMode}{"\n"}'
ac -n kube-public get configmap etcd-sync -o name
TOKEN_SECRET=$(ac get moduleinfo -l cpaas.io/module-name=etcd-sync,cpaas.io/cluster-name=global \
  -o jsonpath='{.items[0].spec.config.active_cluster_token_secret_ref}')
TOKEN_SECRET=${TOKEN_SECRET:-etcd-sync-token}
ACTIVE_VIP=$(ac get moduleinfo -l cpaas.io/module-name=etcd-sync,cpaas.io/cluster-name=global \
  -o jsonpath='{.items[0].spec.config.active_cluster_vip}')
if [[ $ACTIVE_VIP =~ ^[0-9a-fA-F:]+$ ]]; then ACTIVE_VIP="[$ACTIVE_VIP]"; fi
{ printf 'Authorization: Bearer '
  ac -n cpaas-system get secret "${TOKEN_SECRET}" -o jsonpath='{.data.token}' | base64 -d
  printf '\n'
} | curl -sk -H @- -o /dev/null -w '%{http_code}\n' \
  "https://${ACTIVE_VIP}:6443/api/v1/namespaces/cpaas-system/secrets/etcd-ca"
unset KUBECONFIG
结果操作
Paused Paused Paused、configmap/etcd-sync 和 200继续。
401 或 403插件的令牌已无法访问主集群。请联系技术支持。
暂停状态不是 Paused Paused Paused,或缺少标记不要升级备用集群;请联系技术支持。
000执行主机无法通过端口 6443 访问主集群 VIP。请修复执行主机的连接,然后重新运行代码块。
任何其他 HTTP 代码请联系技术支持。

升级备用 global 集群

WARNING

升级无法回滚。当目标版本更改 Kubernetes 构建版本或 Alauda OS 镜像时,此请求还会在 Huawei DCS、Huawei Cloud Stack 和 VMware vSphere 上将每个节点替换为新的 VM,并在裸金属上逐个重新安装每台主机。

在备用集群上,部署 CVO 和目标版本信息:

export KUBECONFIG=<standby-kubeconfig>
ac whoami --show-server   # the standby VIP
bash upgrade.sh --skip-sync-image
ac get productmanifest v<target-version>
unset KUBECONFIG
结果操作
脚本无错误完成,且 READY 为 True继续。
脚本报告产品清单未就绪,或 READY 不为 True按照恢复缺失的对齐扩展包中的步骤操作。
脚本因其他错误失败请联系技术支持。

然后运行最终预检。首先检查标记,因为没有标记时,DRSplitUpgradeWindow 会在未检查备用集群的情况下通过:

export KUBECONFIG=<standby-kubeconfig>
ac whoami --show-server   # the standby VIP
ac -n kube-public get configmap etcd-sync -o name
bash upgrade.sh --preflight
unset KUBECONFIG

如果第一条命令未输出 configmap/etcd-sync,请不要升级备用集群,并联系技术支持。当 Summary 显示 Passed 或 PassedWithWarnings 时继续。如果 DRSplitUpgradeWindow 失败,请参阅DR 备用集群检查。对于其他检查,请按照处理预检阻断中的说明在备用集群上解决问题,然后重新运行检查;AdminAckRequired 可能会在此处首次出现,请参阅处理管理员确认门禁。然后按照 ac adm upgrade 列出的目标版本,请求升级:

export KUBECONFIG=<standby-kubeconfig>
ac whoami --show-server   # the standby VIP
ac adm upgrade
ac adm upgrade --cluster=global --to=<target-version>
unset KUBECONFIG

监控升级:

export KUBECONFIG=<standby-kubeconfig>
ac whoami --show-server   # the standby VIP
ac adm upgrade status --cluster=global
ac -n cpaas-system get infraclusterversion global   # Alauda OS
unset KUBECONFIG

重复运行代码块,直到 Current 显示目标版本,且 Ready 为 True;在 Alauda OS 上,PHASE 还必须为 Succeeded。替换控制平面节点期间,命令可能会因连接失败而无法执行;请重新运行命令。如果 Upgrade 显示 Blocked 或 Retrying,请参阅检查升级状态。在 Alauda OS 上,如果升级在 Kubernetes 阶段一直处于 InProgress,请按照其中的说明读取 InfraClusterVersion 的 Stalled 条件。修复报告的问题后,升级将继续;如果无法修复,请联系技术支持。

恢复同步

WARNING

恢复同步会使备用集群与主集群保持一致:在暂停时存在、此后在主集群上被删除的对象也会在备用集群上删除。只有以下检查通过后才能恢复同步。

首先,在备用集群上检查同步是否仍处于暂停状态、标记是否存在,以及升级后令牌轮换器是否仍处于禁用状态:

export KUBECONFIG=<standby-kubeconfig>
ac whoami --show-server   # the standby VIP
ac -n cpaas-system get configmap etcd-sync-control \
  -o jsonpath='{.data.mode}{" "}{.data.status\.phase}{" "}{.data.status\.observedMode}{"\n"}'
ac -n kube-public get configmap etcd-sync -o name
ac -n cpaas-system get deploy cluster-api-provider-alauda-manager \
  -o jsonpath='{.spec.template.spec.containers[?(@.name=="cluster-api-provider-alauda")].env[?(@.name=="CLUSTER_TOKEN_ROTATOR_ENABLED")].value}{"\n"}'
unset KUBECONFIG

当输出为 Paused Paused Paused、configmap/etcd-sync 和 false 时继续。如果令牌轮换器的值不是 false,请重新运行准备两个 global 集群中的备用集群代码块。如果暂停状态或标记不符,请不要恢复同步,并联系技术支持。然后在备用集群上恢复同步并查看结果:

export KUBECONFIG=<standby-kubeconfig>
ac whoami --show-server   # the standby VIP
ac -n cpaas-system patch configmap etcd-sync-control --type merge -p '{"data":{"mode":"Running"}}'
ac -n cpaas-system get configmap etcd-sync-control \
  -o jsonpath='{.data.status\.phase}{"\n"}{.data.status\.message}{"\n"}{.data.status\.lastResume}{"\n"}{.data.status\.deleteBlocked}{"\n"}'
unset KUBECONFIG

不带 patch 命令重新运行代码块,直到地址后面的行显示 Running。然后在备用集群的控制平面节点上重新运行验证数据一致性中的 /check 命令。

结果操作
status.phase 为 Running,status.lastResume 包含 "deleteSkipped":false,status.deleteBlocked 行为空,并且 /check 显示 localMissedKeys [0]继续。localSurplusKeys 仅供参考。
status.phase 仍为 Resuming,或仍为 Paused不要编辑 etcd-sync-control;请联系技术支持。
"deleteSkipped":true,或 status.deleteBlocked 行不为空请联系技术支持。
check too frequent等待一分钟后重新运行检查;如果没有变化,请联系技术支持。
/check 显示除 [0] 以外的 localMissedKeys按照全局集群灾难恢复未同步中的步骤操作,然后重新运行检查。

恢复令牌轮换器

在主集群上,移除设置,然后检查该设置并列出其 Deployment 的 ResourcePatch 对象:

ac config use-cluster global
ac whoami --show-server   # ends with /kubernetes/global/
ac -n cpaas-system set env deploy/cluster-api-provider-alauda-manager \
  -c cluster-api-provider-alauda CLUSTER_TOKEN_ROTATOR_ENABLED-
ac -n cpaas-system rollout status deploy/cluster-api-provider-alauda-manager
ac -n cpaas-system get deploy cluster-api-provider-alauda-manager \
  -o jsonpath='{.spec.template.spec.containers[?(@.name=="cluster-api-provider-alauda")].env[?(@.name=="CLUSTER_TOKEN_ROTATOR_ENABLED")].value}{"\n"}'
ac get resourcepatches \
  -o jsonpath='{range .items[?(@.spec.target.name=="cluster-api-provider-alauda-manager")]}{.metadata.name}{"\n"}{end}'

在备用集群上:

export KUBECONFIG=<standby-kubeconfig>
ac whoami --show-server   # the standby VIP
ac -n cpaas-system set env deploy/cluster-api-provider-alauda-manager \
  -c cluster-api-provider-alauda CLUSTER_TOKEN_ROTATOR_ENABLED-
ac -n cpaas-system rollout status deploy/cluster-api-provider-alauda-manager
ac -n cpaas-system get deploy cluster-api-provider-alauda-manager \
  -o jsonpath='{.spec.template.spec.containers[?(@.name=="cluster-api-provider-alauda")].env[?(@.name=="CLUSTER_TOKEN_ROTATOR_ENABLED")].value}{"\n"}'
ac get resourcepatches \
  -o jsonpath='{range .items[?(@.spec.target.name=="cluster-api-provider-alauda-manager")]}{.metadata.name}{"\n"}{end}'
unset KUBECONFIG

当两侧的发布都完成、用于检查该设置的 jsonpath 命令输出空行,并且最后一条命令未列出任何 ResourcePatch 时,继续操作:移除该设置也会移除它创建的 ResourcePatch。如果仍列出了 ResourcePatch,说明它还包含 Deployment 的其他自定义配置;请保留它,并检查其中不包含 CLUSTER_TOKEN_ROTATOR_ENABLED。

升级 Agnostic 扩展并进行验证

升级请求不会升级具有 Agnostic 生命周期的扩展(Operators 和集群插件)。请按照各自的文档,升级安装在主集群、备用集群以及已升级业务集群上的每个 Agnostic 扩展。例如,请参阅 升级 Alauda AI 和 升级 Alauda DevOps。然后在备用集群上完成升级验证;主集群已在业务集群之前完成验证。

只有完成此页面上的每个步骤(包括恢复同步后的同步检查)后,两个 global 集群的升级才算完成;在此之前不要开始升级任一 global 集群。

下一步

升级其余业务集群。请参阅升级业务集群。