升级概述

升级会将每个集群迁移到新的 ACP 版本(发行版版本),每个集群对应一个升级请求:先升级 global 集群,然后升级业务集群。您可以使用 ACP CLI(ac adm upgrade)提交每个请求,并由 global 集群上的 Cluster Version Operator(CVO)执行升级。有关升级页面中使用的术语,请参阅术语表。

升级概览

  1. 在升级第一个集群之前,完成升级准备。检查项概览列出了适用于每个集群的检查项。
  2. 仅适用于将平台数据保留在机器模板磁盘上的 Huawei DCS 和 Huawei Cloud Stack 集群:在升级前完成迁移到池管理的持久化磁盘。
  3. 升级 global:升级 global 集群;或者在 DR 环境中,根据升级顺序和兼容性中的选择,在 DR 环境中升级 global 集群或在业务集群之后升级备用 global 集群。
  4. 一次升级一个或多个业务集群:升级业务集群。
  5. 每个集群升级后都进行验证:升级验证。
  6. 最后一个集群升级完成后,通过所有集群升级完成后的操作结束升级。

升级会更改的内容

具有 Aligned 生命周期的扩展(Operators 和 Cluster Plugins,简称 Aligned Extensions)遵循 ACP 发布节奏。具有 Agnostic 生命周期的扩展(Agnostic Extensions)独立发布。请参阅生命周期类型。

部分升级方
ACP CoreCVO 通过集群的升级请求执行升级。
Aligned ExtensionsCVO 在同一请求中,为集群上安装的每个 Aligned Extension 执行升级。
Kubernetes,以及 Alauda OS 节点上的 Alauda OS取决于节点操作系统和 provider;请参阅谁负责升级 Kubernetes。
Agnostic Extensions在集群达到目标 ACP 版本后,您需要根据该 Extension 的文档,分别为每个 Extension 执行升级。

如果已安装的 Aligned Extension 的软件包缺失,请求将停止;准备步骤会发布这些软件包。

Huawei DCS、Bare Metal、Huawei Cloud Stack 和 VMware vSphere 的基础设施 provider 都是安装在 global 集群上的 Aligned Extensions,因此会随 global 一起升级。针对业务集群的相关检查,只有在 global 升级后才有意义。

对于从早于 v4.5 的版本升级而来的 Alauda OS 集群,当集群和 global 均运行 v4.5 后,平台会接管 Kube-OVN 和 CoreDNS,并在此时完成一次 Kube-OVN 的推出。不得手动升级 Kube-OVN 和 CoreDNS,其接管过程可能在升级请求完成后才结束。接管被阻塞会导致验证失败;如果接管被阻塞,请联系技术支持。

谁负责升级 Kubernetes

集群Kubernetes 升级方方式
Alauda OS平台,在同一个升级请求中升级按照 Alauda OS 节点上会发生什么中的说明,逐个替换节点。控制平面节点和工作节点会经过每个中间 Kubernetes 版本;在 Bare Metal 上,工作节点仅在目标版本下重新安装。每个节点都运行目标版本后,请求即完成。
非 Alauda OS平台,在同一个升级请求中升级在现有节点上原地升级;不会替换节点。每个节点必须已运行 Linux kernel 5.8 或更高版本,并启用 cgroup v2。请在升级前完成节点操作系统更新;此操作会重启节点。

一个部署可以混用不同的提供商,例如在 Huawei DCS 上部署 global,并在 Huawei DCS 和 VMware vSphere 上部署业务集群。每个集群都按照其自身提供商对应的行进行操作。

ACP 版本和 Kubernetes 版本

ACP Core 会直接从当前 ACP 版本升级到目标 ACP 版本。Kubernetes 则一次升级一个次要版本。目前,从 4.1 开始的每个 ACP 次要版本都会将集群升级到一个 Kubernetes 次要版本:ACP 4.3 对应 1.34,ACP 4.4 对应 1.35,ACP 4.5 对应 1.36。因此,在 Alauda OS 上从 ACP 4.3 升级到 4.5 时,会经过中间 Kubernetes 版本 1.35,并且每个中间 Kubernetes 版本都需要其对应的 Alauda OS 镜像,且必须在升级前准备就绪。准备工作还会发布与每个中间 Kubernetes 版本对应的 ACP 版本镜像,例如 1.35 对应 v4.4.1;您无需请求升级到该版本。

补丁升级遵循相同的规则:在 Alauda OS 上,如果目标版本更改了 Kubernetes 构建版本或 Alauda OS 镜像,补丁升级也会逐个替换所有节点。如果这两项均未更改,则不会替换节点,但平台仍会运行检查,因此每次升级都需要进行相应准备。

Alauda OS 节点上会发生什么

Alauda OS 节点不会进行原地升级。在 Huawei DCS、Huawei Cloud Stack 和 VMware vSphere 上,每次替换一个节点,并将其替换为新的虚拟机。裸金属无需额外的机器:现有主机将逐个重新安装。Alauda OS global 集群中的节点也会以相同方式替换。

替换节点期间,集群会少一个节点。节点被替换前,其上的 Pod 会被驱逐,并在其他节点上重新启动;只有一个副本的工作负载会在其 Pod 再次运行前不可用。只有一个节点的工作节点池在该节点被替换期间,没有可供其 Pod 运行的节点。

数据节点替换期间
节点自身磁盘上的数据,例如 hostPath 卷和本地 PersistentVolumes,除非它们位于池管理的持久磁盘上不会保留。请在升级前将其迁移到 CSI 存储。
池管理的持久磁盘上的数据(Huawei DCS、Huawei Cloud Stack、VMware vSphere),例如 /var/cpaas 中的平台数据替换节点接管被替换节点的池条目后,数据会保留。在 Huawei DCS 和 Huawei Cloud Stack 上,只有当池中没有空闲条目时才能保证这一点;控制平面池和工作节点池均如此,例如,三节点控制平面应有三个条目。请按照检查 global 集群中的说明,以及对于业务集群,按照升级集群前中的说明,在升级前从池中移除空闲条目。VMware vSphere 会重复使用已释放的条目。
外部存储,例如通过 CSI 提供的卷不受影响。

仍将平台数据保留在机器模板磁盘上的 Huawei DCS 和 Huawei Cloud Stack 集群,必须先迁移到池管理的持久磁盘。请在升级前完成迁移;迁移会替换每个节点。

集群所需时间会随着节点数量与升级路径中的 Kubernetes 版本数量的乘积而增加;在裸金属上,工作节点只需重新安装一次。

升级顺序和兼容性

先升级 global 集群,再升级业务集群。业务集群只能升级到 global 当前运行的 ACP 版本。你可以一次请求升级多个业务集群;平台会同时升级其中有限数量的集群,其余集群则需等待。尚未升级的集群仍必须处于直接升级窗口内;如果该集群由 ACP 创建,其 Kubernetes 版本还必须在下一次 global 升级的 Compatible Versions 范围内;否则,必须在该次 global 升级之前升级该集群。

直接升级窗口。集群可从 ACP 4.2、4.3 或 4.4 直接升级到 ACP 4.5;准备阶段会确认平台是否为你的确切补丁版本提供目标版本。在 Alauda OS 上,文档所述升级路径从 v4.3.2 开始:对于运行较早版本的 Alauda OS 集群,请联系技术支持;请参阅检查集群版本。此窗口适用于在 global 上注册的所有集群:导入并注册的第三方集群上的 ACP 组件也必须处于此窗口内,否则 global 升级将被阻止。对于运行 ACP 4.1 或更早版本的集群,请联系技术支持。

Compatible Versions。升级 global 之前,所有由 ACP 创建的业务集群都必须运行目标版本 Compatible Versions 范围内的 Kubernetes 版本;这些兼容版本列于 Kubernetes 支持矩阵。升级前检查不会检查此规则;请按照检查集群版本中的说明自行检查。先将超出此范围的集群升级到 global 当前运行的 ACP 版本。导入并注册的第三方集群的 Kubernetes 版本不受 Compatible Versions 限制,也不会阻止升级。

Global Cluster 灾难恢复。使用 Alauda Container Platform Global Cluster Disaster Recovery 插件时,请准备两个 global 集群;该插件不会同步准备操作。有两种操作步骤可供选择,区别在于备用集群何时升级:

先升级两个 global 集群在业务集群之后升级备用集群
操作步骤在 DR 环境中升级 global 集群在业务集群之后升级备用 global 集群
升级内容每次次版本和补丁版本升级同一次次版本内的补丁版本升级,从 ACP 4.5.0 或更高版本开始
顺序备用集群、主集群,然后是业务集群主集群、你选择的业务集群,然后是备用集群;之后再升级其他业务集群
同步从备用集群卸载插件,并在两个升级完成后立即重新安装插件保持安装状态;暂停同步,并在备用集群升级后恢复
无 DR 保护的时段从卸载到重新安装期间,涵盖两次 global 升级从暂停到确认恢复期间,涵盖主集群、所选业务集群和备用集群的升级

在这两种方式中,该时段内任一 global 集群上只能进行相应操作步骤页面所述的升级和步骤;只有完成该页面上的所有步骤(包括同步检查)后,操作步骤才算完成。在此之前,请勿开始升级任一 global 集群。

再次升级 global。即使并非所有业务集群都已升级,你仍可以再次升级 global,例如升级到较新的补丁版本:

  • 业务集群升级正在进行时,请勿开始再次升级。平台不会阻止此操作。
  • 随后,落后的业务集群会直接升级到 global 当前运行的 ACP 版本;准备阶段会确认此版本是否接受其当前版本。对于这些集群,请准备该版本以及其升级路径上每个中间 Kubernetes 版本对应的 Alauda OS 镜像。无需准备跳过的 ACP 补丁版本对应的镜像。
  • 每次新的 global 升级都要重新从准备阶段开始,并使用同一 global 升级页面;在 DR 环境中,请使用上表中的页面。

风险与恢复

每个升级请求都会在应用目标版本前运行升级前检查。如果 global 从未通过 CVO 升级过,则首次升级前检查会在部署 CVO 后、升级过程中运行。在 Alauda OS 上,平台还会在替换节点前检查集群;当 global 集群上的 provider 尚不支持这些节点检查时,只有在其 ACP Core 升级后才能运行这些检查,因此准备工作还包括自行检查这些项目。

任何 provider 或节点操作系统上的升级都无法回滚,也不能请求较低的 ACP 版本。恢复 etcd 备份不会使集群回到较早的 ACP 版本。修复报告的问题后,升级会继续;如果无法修复,请联系技术支持。有关报告的问题,请参阅升级故障排查。

使用 Global Cluster Disaster Recovery 时,只有在备用集群与主集群完全同步后才能卸载插件:如果备用集群缺少数据时卸载插件,可能会删除业务集群机器;在 Alauda OS 上,还可能删除这些机器背后的节点。DR 页面会先检查这一点。从卸载插件到重新安装插件期间,没有 DR 保护,并且两个 global 升级是任一 global 集群上唯一允许进行的集群更改。在业务集群升级后再升级备用集群时,插件会保持安装状态,仅暂停同步,因此备用集群仍是备用集群;从暂停同步到恢复并检查同步期间,没有 DR 保护。