迁移到由池管理的持久磁盘

对于仍将平台数据(例如 /var/cpaas)保留在其机器模板中声明的磁盘上的 Huawei DCS 或 Huawei Cloud Stack 集群,请使用此页面。迁移后,这些磁盘将在机器池中声明,并且升级在替换节点时会保留这些磁盘。请迁移每个受影响的集群,包括 global 集群。如果 Check Cluster Versions 将某个集群发送给技术支持,请在迁移前联系技术支持。

WARNING

请在升级集群前完成迁移。升级会逐个使用新的 VM 替换集群的每个节点。

在执行主机上运行命令,执行 ac login 后,在管理该集群的 global 集群上运行:即 global 集群本身,并将 global 设为 <cluster-name>;或者对于业务集群,在其主 global 集群上运行。在 DR 环境中,迁移每个 global 集群;对于备用集群,请使用其 kubeconfig,而不是 ac login。所有对象都位于 cpaas-system 命名空间中。

开始之前

选择用于运行命令的 global 集群,并确认输出的地址以 /kubernetes/global/ 结尾:

ac config use-cluster global
ac whoami --show-server

对于 DR 环境中的备用 global 集群,请将第一个命令替换为 export KUBECONFIG=<standby-kubeconfig>;第二个命令随后会输出备用集群的 VIP,并且本页面中后续的每个 ac 命令都使用此 kubeconfig。备用集群迁移完成后,运行 unset KUBECONFIG。

此外,请确认集群的所有节点均为 Ready,并确认集群具有近期成功的 etcd 备份,具体说明请参阅 Check the etcd Backup。

然后在同一集群上运行以下检查。

检查提供商要求

Huawei DCS
Huawei Cloud Stack
  • 集群运行 ACP v4.2.1 或更高版本(如 Check Cluster Versions 中所示),且其 VM 模板为 v4.2.1 或更高版本。
  • 客户机工具(vmtools)在 VM 内运行。
  • 每个节点在 DCSIpHostnamePool 中都有固定 IP 条目。
  • 可以从 DCS 平台或 DCS API(sequenceNum)读取每个 VM 的磁盘及其 QueryVmInfo。

然后确认提供商支持该字段:

ac explain dcsiphostnamepools.spec.pool.persistentDisk

当上述每一项均满足且命令描述了该字段时继续;否则,请联系技术支持。

检查滚动发布设置

ac -n cpaas-system get clusters.cluster.x-k8s.io <cluster-name> \
  -o jsonpath='{.spec.controlPlaneRef.name}{"\n"}'
ac -n cpaas-system get kubeadmcontrolplane <kcp-name> \
  -o jsonpath='replicas={.spec.replicas} maxSurge={.spec.rolloutStrategy.rollingUpdate.maxSurge}{"\n"}'
ac -n cpaas-system get kubeadmcontrolplane <kcp-name> \
  -o custom-columns='NAME:.metadata.name,TEMPLATE:.spec.machineTemplate.infrastructureRef.name'
ac -n cpaas-system get machinedeployment -l cluster.x-k8s.io/cluster-name=<cluster-name> \
  -o custom-columns='NAME:.metadata.name,SURGE:.spec.strategy.rollingUpdate.maxSurge,UNAVAILABLE:.spec.strategy.rollingUpdate.maxUnavailable,TEMPLATE:.spec.template.spec.infrastructureRef.name'

第一个命令输出 KubeadmControlPlane 名称 <kcp-name>。TEMPLATE 列列出正在使用的机器模板;操作步骤会应用于其中每个模板。

结果操作
replicas 为 3 或更高,并且 maxSurge 为 0,且每个 MachineDeployment 都显示 SURGE 0 和 UNAVAILABLE 1继续。
replicas 小于 3无法升级该集群。不要迁移该集群。
replicas 为 3 或更高,并且 maxSurge 为空或不是 0运行下面的 kubeadmcontrolplane 命令。
某个 MachineDeployment 显示 SURGE 为空或不是 0,或者 UNAVAILABLE 为空或不是 1对该 MachineDeployment 运行下面的 machinedeployment 命令。
ac -n cpaas-system patch kubeadmcontrolplane <kcp-name> --type=merge \
  -p '{"spec":{"rolloutStrategy":{"type":"RollingUpdate","rollingUpdate":{"maxSurge":0}}}}'
ac -n cpaas-system patch machinedeployment <machinedeployment-name> --type=merge \
  -p '{"spec":{"strategy":{"type":"RollingUpdate","rollingUpdate":{"maxSurge":0,"maxUnavailable":1}}}}'

检查池中的空闲条目

检查集群使用的每个池,包括控制平面池和工作节点池:

Huawei DCS
Huawei Cloud Stack

最后一个命令输出集群控制平面负载均衡器的类型和地址:

ac -n cpaas-system get dcsiphostnamepool \
  -o custom-columns='NAME:.metadata.name,IPS:.spec.pool[*].ip,DISKS:.spec.pool[*].persistentDisk[*].path,KEPT_DISKS:.status.persistentDiskStatus[*].ip'
ac -n cpaas-system get dcsmachine -l cluster.x-k8s.io/cluster-name=<cluster-name> -o custom-columns='NAME:.metadata.name,POOL:.spec.ipHostPoolRef.name,IP:.status.networkConfig.ip'
ac -n cpaas-system get dcscluster <cluster-name> -o jsonpath='{.spec.controlPlaneLoadBalancer.type}{" "}{.spec.controlPlaneLoadBalancer.host}{"\n"}'

检查 POOL 列中的每个池。空闲条目是池中没有任何集群机器使用的 IP 地址;当类型为 internal 时,该地址也不能是负载均衡器地址。

结果操作
Huawei DCS:池中没有空闲条目。Huawei Cloud Stack:POOL 中的每个池都显示 AVAILABLE 为空或 0继续。
Huawei DCS:空闲条目不在 KEPT_DISKS 中使用 ac -n cpaas-system edit dcsiphostnamepool <pool-name> 将其从 spec.pool 中删除。保留内部负载均衡器地址对应的条目。
Huawei DCS:空闲条目位于 KEPT_DISKS 中联系技术支持。不要删除该条目。
Huawei Cloud Stack:POOL 中的某个池显示 AVAILABLE 大于 0运行 ac -n cpaas-system edit hcsmachineconfigpool <pool-name>,并从 spec.configs 中删除空闲配置,即 HOSTNAMES 中不在 USED 中的配置。
Huawei Cloud Stack:由于某个空闲配置之前已被使用,编辑操作被拒绝联系技术支持。

迁移操作步骤

对控制平面模板以及你列出的每个 MachineDeployment 模板执行每个步骤。

检查磁盘并选择要保留的磁盘

Huawei DCS
Huawei Cloud Stack

列出集群的 VM 和池:

ac -n cpaas-system get dcsmachine -l cluster.x-k8s.io/cluster-name=<cluster-name>
ac -n cpaas-system get dcsiphostnamepool

对于每个 VM 上要保留的磁盘,记录:

  • 从 DCS 平台或 DCS API 的 VM 详细信息(QueryVmInfo)中记录:sequenceNum、大小(quantityGB)、pciType 和卷 URN(volumeUrn)。
  • 从当前 DCSMachineTemplate 的 spec.template.spec.vmConfig.dcsMachineDiskSpec[] 中该磁盘的条目记录:path、format 和 datastoreName 或 datastoreClusterName。数据磁盘条目遵循旧磁盘顺序,位于系统磁盘之后。

只有位于旧磁盘顺序末尾的磁盘才能保留。根据其旧的 sequenceNum,计算它在池中的 slot:

slot = oldSequenceNum - systemDiskCount - newTemplateDataDiskCount - 1

systemDiskCount 是 1。newTemplateDataDiskCount 是迁移后模板中保留的非系统磁盘数量。slot 必须大于或等于 0,并且在 IP 条目中唯一。如果某个磁盘的 slot 为负数,则需要将该磁盘与旧顺序末尾之间的磁盘也移到池中,或者接受该磁盘会随旧 VM 一起被删除。

例如,旧磁盘顺序为第 1 个系统磁盘、第 2 个 /var/lib/kubelet、第 3 个 /var/lib/etcd、第 4 个 /var/lib/containerd、第 5 个 /var/cpaas,并且新模板保留所有未移动的数据磁盘:

要保留的磁盘旧的 sequenceNum模板中剩余的数据磁盘slot可保留
/var/cpaas53(/var/lib/kubelet、/var/lib/etcd、/var/lib/containerd)5 - 1 - 3 - 1 = 0是
/var/lib/containerd 和 /var/cpaas4、52(/var/lib/kubelet、/var/lib/etcd)0 和 1是
仅 /var/lib/etcd33(/var/lib/kubelet、/var/lib/containerd、/var/cpaas)3 - 1 - 3 - 1 = -2否

更新 Machine 模板

Huawei DCS
Huawei Cloud Stack

就地编辑每个模板,并保留其名称:

ac -n cpaas-system get dcsmachinetemplate <template-name> -o yaml > current-template.yaml

在 current-template.yaml 中:

  • 在 spec.template.spec.vmConfig.dcsMachineDiskSpec[] 中保留系统磁盘以及可随 VM 重新创建的磁盘。移除所有要保留的磁盘,以及随该磁盘一起移动以使其可被声明的磁盘。
  • 保留 metadata.name。移除 metadata.resourceVersion、metadata.uid、metadata.creationTimestamp 和 metadata.managedFields。

然后使用 ac apply -f current-template.yaml 应用更改。

更新池

Huawei DCS
Huawei Cloud Stack

编辑模板在 spec.template.spec.ipHostPoolRef.name 中引用的 DCSIpHostnamePool:

ac -n cpaas-system edit dcsiphostnamepool <pool-name>

在每个节点的 IP 条目下,为每个要保留的磁盘添加一个 persistentDisk 条目,并填入你计算出的 slot:

  pool:
  - ip: "<node-ip>"
    mask: "<mask>"
    gateway: "<gateway>"
    dns: "<dns>"
    hostname: "<hostname>"
    machineName: "<machine-name>"
    persistentDisk:
    - slot: <calculated-slot>
      quantityGB: 40
      datastoreClusterName: <datastore-cluster-name>
      path: /var/cpaas
      format: xfs
      pciType: VIRTIO

只有当 quantityGB(确切大小)、datastoreName 或 datastoreClusterName(相同存储)以及 pciType 与实际磁盘匹配时,才会声明现有磁盘。始终将 pciType 设置为实际磁盘的值;保存条目后无法更改该值。path 应用于替换 VM;format 和 isThin 仅用于新建的空磁盘。

确认磁盘已被声明

开始替换前,读取每个池的磁盘状态:

Huawei DCS
Huawei Cloud Stack
ac -n cpaas-system get dcsiphostnamepool <pool-name> \
  -o jsonpath='{range .status.persistentDiskStatus[*]}{.ip}{"\t"}{.slot}{"\t"}{.path}{"\t"}{.phase}{"\t"}{.volumeUrn}{"\t"}{.lastError}{"\n"}{end}'
结果操作
每个要保留的磁盘都是 Attached。Huawei DCS:其 volumeUrn 是你为该磁盘记录的卷 URN。Huawei Cloud Stack:它具有 volumeID继续。
磁盘为 Attaching 或 Available,或者未出现在输出中一分钟后重新读取状态;如果状态没有变化,请联系技术支持。
磁盘处于 Error按照磁盘报告错误时中的说明修复。
Huawei DCS:磁盘处于 Attached,且其 volumeUrn 与你记录的值不同不要开始替换;联系技术支持。
磁盘处于 Creating 或其他阶段不要开始替换;联系技术支持。
某列为空使用 -o yaml 读取池,并按照上面各行中的方式处理磁盘状态。

触发滚动替换

Huawei DCS
Huawei Cloud Stack

先开始替换控制平面,然后替换每个 MachineDeployment:

ac -n cpaas-system patch kubeadmcontrolplane <kcp-name> --type=merge \
  -p '{"spec":{"rolloutAfter":"'"$(date -u +%Y-%m-%dT%H:%M:%SZ)"'"}}'
ac -n cpaas-system patch machinedeployment <machinedeployment-name> --type=merge \
  -p '{"spec":{"rolloutAfter":"'"$(date -u +%Y-%m-%dT%H:%M:%SZ)"'"}}'

验证迁移

跟踪替换过程:

ac -n cpaas-system get kubeadmcontrolplane <kcp-name>
ac -n cpaas-system get machinedeployment -l cluster.x-k8s.io/cluster-name=<cluster-name>
ac -n cpaas-system get machines.cluster.x-k8s.io -l cluster.x-k8s.io/cluster-name=<cluster-name>

然后使用确认磁盘已被声明中的命令读取每个池的磁盘状态。每个磁盘在旧 VM 上从 Attached 变为分离后的 Available,然后在替换 VM 上变为 Attached;中间会显示 Detaching 和 Attaching。当 KubeadmControlPlane 显示 REPLICAS 等于 DESIRED,KubeadmControlPlane 和每个 MachineDeployment 显示 UPDATED 等于 REPLICAS,且 UNAVAILABLE 为 0,每个 Machine 都是 Running,并且每个磁盘都是 Attached 时,迁移完成。

磁盘报告错误

当磁盘处于 phase: Error 状态时,使用确认磁盘已被声明中的命令读取其 lastError。修复原因后,provider 会重试并继续替换。如果无法修复原因,请联系技术支持。

Huawei DCS
Huawei Cloud Stack

当池条目中的 quantityGB、数据存储或 pciType 与实际磁盘不一致时,声明会失败。对于 quantityGB 或数据存储,请更正池条目;provider 会自行重试。保存条目后无法更改 pciType;如果两者不一致,请联系技术支持。

限制

  • 仅保留池中声明的磁盘。机器模板中的其他所有磁盘都会随旧 VM 一起删除。
  • 不要在机器模板和池中同时声明同一个磁盘。

迁移所有受影响的集群后,返回准备升级。