在 StorageClass 之间迁移虚拟机

本文介绍如何将虚拟机(VM)磁盘从一个 StorageClass 迁移到另一个 StorageClass。当需要将 VM 存储迁移到其他后端、存储池或 CSI 驱动程序时,可以使用此操作步骤,例如从 Ceph RBD 迁移到 CephFS、在两个 Ceph RBD 存储池之间迁移,或从平台提供的存储迁移到客户提供的 StorageClass。

有两种迁移方法可用:

方法VM 状态推荐场景
使用 CDI 克隆进行冷迁移已停止当源存储或目标存储仅支持 ReadWriteOnce、涉及本地存储或拓扑感知型存储,或者最大兼容性比避免停机更重要时使用。
实时存储迁移运行中仅当 VM、源存储、目标存储、网络和目标节点调度条件均支持实时迁移时使用。

前提条件

  • 已启用 Alauda Virtualization,并包含实时存储迁移支持。
  • 你拥有在 VM 命名空间中管理 VirtualMachine、VirtualMachineInstance、PersistentVolumeClaim 和 DataVolume 资源的权限。
  • 源 VM 使用 CDI DataVolume 或由 PVC 支持的磁盘。
  • 目标 StorageClass 具有足够的容量,并支持所需的 accessModes 和 volumeMode。
  • 对于冷迁移,请安排维护时段,因为在克隆磁盘和更新 VM 定义期间,VM 会处于停止状态。
  • 对于实时存储迁移,运行中的 VMI 必须同时报告 LiveMigratable=True 和 StorageLiveMigratable=True。

准备迁移

为 VM 和目标存储设置变量:

NAMESPACE=<vm-namespace>
VM=<vm-name>
ROOT_VOLUME=<root-disk-volume-name>
SRC_PVC=<source-pvc-name>
DST_SC=<destination-storage-class>

在创建目标磁盘前检查目标 StorageProfile:

kubectl get storageprofile "$DST_SC" -o yaml

从目标 StorageProfile 支持的声明属性集中选择 accessModes 和 volumeMode。例如,Ceph RBD 通常与 volumeMode: Block 搭配使用,而 CephFS 通常与 volumeMode: Filesystem 搭配使用。

对于 VirtualMachineStorageMigrationPlan(用于实时存储迁移,本文档后面会对此进行介绍),你还可以将 accessModes 或 volumeMode 设置为 Auto,让存储迁移控制器从 StorageProfile 中查找该值。对于手动创建的 DataVolume,请使用明确的 Kubernetes PVC 值,例如 ReadWriteOnce、ReadWriteMany、Block 或 Filesystem。

如果计划使用实时存储迁移,请检查正在运行的 VMI 条件:

kubectl get vmi "$VM" -n "$NAMESPACE" \
  -o jsonpath='{range .status.conditions[*]}{.type}={.status}{" "}{.reason}{"\n"}{end}'

仅当输出包含以下两个条件时,才继续进行实时存储迁移:

LiveMigratable=True
StorageLiveMigratable=True

如果任一条件缺失或设置为 False,请使用冷迁移,或先解决报告的限制再重试实时迁移。

使用 DataVolume 克隆进行冷迁移

冷迁移是跨 CSI 驱动程序兼容性最高的方法。它会停止 VM,将源 PVC 克隆到使用目标 StorageClass 的新 DataVolume 中,然后更新 VM 以使用新的 DataVolume。

停止 VM

停止 VM:

kubectl patch vm "$VM" -n "$NAMESPACE" --type=merge \
  -p '{"spec":{"running":false}}'
注意

某些 VM API 版本会警告 spec.running 已弃用,建议改用 spec.runStrategy。如果 VM 已使用 spec.running,请勿在移除 spec.running 之前设置 spec.runStrategy,因为这两个字段互斥。

等待 VMI 被删除:

kubectl wait vmi "$VM" -n "$NAMESPACE" --for=delete --timeout=10m

创建目标 DataVolume

创建一个 DataVolume,将源 PVC 克隆到目标 StorageClass:

apiVersion: cdi.kubevirt.io/v1beta1
kind: DataVolume
metadata:
  name: <destination-datavolume-name>
  namespace: <vm-namespace>
spec:
  source:
    pvc:
      namespace: <vm-namespace>
      name: <source-pvc-name>
  pvc:
    accessModes:
      - <destination-access-mode>
    volumeMode: <Block-or-Filesystem>
    resources:
      requests:
        storage: <destination-size>
    storageClassName: <destination-storage-class>

应用清单:

kubectl apply -f <destination-datavolume-file>.yaml

对于具有 volumeBindingMode: Immediate 的 StorageClass,等待克隆完成:

kubectl wait dv <destination-datavolume-name> -n "$NAMESPACE" \
  --for=jsonpath='{.status.phase}'=Succeeded --timeout=60m

对于具有 volumeBindingMode: WaitForFirstConsumer 的 StorageClass,DataVolume 可能会保持在 PendingPopulation,直到 VM 启动并成为第一个使用者。对于本地存储或拓扑感知型存储,这是预期行为。继续更新 VM,启动 VM,并监控 DataVolume 和 VMI。

注意

从块模式迁移到文件系统模式时,请求的目标大小应大于源磁盘大小。增加 5% 到 10% 是一个实用的起始值,因为目标文件系统和磁盘映像文件需要额外空间。

更新 VM 磁盘引用

更新 VM,使根磁盘卷指向目标 DataVolume。

编辑 spec.dataVolumeTemplates 和 spec.template.spec.volumes 等数组时,请保留所有必需条目。如果 VM 具有其他磁盘、cloud-init 卷、密钥或配置映射,请将它们包含在最终的 VM 规范中,以免被移除。

补丁内容示例:

spec:
  dataVolumeTemplates:
    - metadata:
        name: <destination-datavolume-name>
      spec:
        source:
          pvc:
            namespace: <vm-namespace>
            name: <source-pvc-name>
        pvc:
          accessModes:
            - <destination-access-mode>
          volumeMode: <Block-or-Filesystem>
          resources:
            requests:
              storage: <destination-size>
          storageClassName: <destination-storage-class>
  template:
    spec:
      volumes:
        - name: <root-disk-volume-name>
          dataVolume:
            name: <destination-datavolume-name>
        - name: <other-volume-name>
          <other-volume-source>: {}

应用补丁:

kubectl patch vm "$VM" -n "$NAMESPACE" --type=merge --patch-file=<vm-patch-file>.yaml

启动并验证 VM

启动 VM:

kubectl patch vm "$VM" -n "$NAMESPACE" --type=merge \
  -p '{"spec":{"running":true}}'

检查 VM、VMI、PVC 和 DataVolume 的状态:

kubectl get vm,vmi,pvc,dv -n "$NAMESPACE"

如果目标使用 WaitForFirstConsumer,请监控 DataVolume 和 PVC,直到 VM 启动:

kubectl get dv <destination-datavolume-name> -n "$NAMESPACE" -w
kubectl describe pvc <destination-pvc-name> -n "$NAMESPACE"

VM 运行且来宾工作负载检查通过后,只有在确认旧 DataVolume 或 PVC 不再被 VM 引用后,才能将其删除。

kubectl delete dv <old-datavolume-name> -n "$NAMESPACE"

在线存储迁移

仅当 VM 必须保持运行且满足所有在线迁移前提条件时,才使用在线存储迁移。

确认在线迁移就绪

检查 VMI 条件:

kubectl get vmi "$VM" -n "$NAMESPACE" \
  -o jsonpath='{range .status.conditions[*]}{.type}={.status}{" "}{.reason}{"\n"}{end}'

仅当输出包含 LiveMigratable=True 和 StorageLiveMigratable=True 时继续。

同时确认以下要求:

  • 目标 StorageClass 可以使用所选的 accessModes 和 volumeMode 创建 PVC。

  • VM 可以调度到多个节点上。

  • VM 不会在 .status.conditions 中报告 RestartRequired=True。如果 VM 有需要重启的待处理更改,请在开始在线存储迁移前重启 VM,或解决这些待处理更改。

  • 如果集群包含不同的 CPU 型号,VM 使用所有候选节点都支持的 CPU 型号。

  • 如果 VM 在 pod 网络上使用 bridge 绑定,则 VM 具有以下注解:

    kubevirt.io/allow-pod-bridge-network-live-migration: 'true'

创建迁移对象

ACP 控制台是首选入口,因为它会在创建迁移资源之前验证 VM 和目标存储选项。

如果使用 Kubernetes manifest,请创建一个 VirtualMachineStorageMigrationPlan 和一个 VirtualMachineStorageMigration。仅有计划不会执行迁移——迁移对象才是触发器:

apiVersion: migrations.kubevirt.io/v1alpha1
kind: VirtualMachineStorageMigrationPlan
metadata:
  name: <migration-plan-name>
  namespace: <vm-namespace>
spec:
  # keepSource (default) keeps the original PVCs after a successful migration;
  # the source storage is NOT auto-deleted — remove it manually once verified.
  retentionPolicy: keepSource
  virtualMachines:
    - name: <vm-name>
      targetMigrationPVCs:
        - volumeName: <root-disk-volume-name>
          destinationPVC:
            name: <destination-pvc-name>
            storageClassName: <destination-storage-class>
            accessModes:
              - <destination-access-mode>
            volumeMode: <Block-Filesystem-or-Auto>
---
apiVersion: migrations.kubevirt.io/v1alpha1
kind: VirtualMachineStorageMigration
metadata:
  name: <migration-name>
  namespace: <vm-namespace>
spec:
  virtualMachineStorageMigrationPlanRef:
    apiVersion: migrations.kubevirt.io/v1alpha1
    kind: VirtualMachineStorageMigrationPlan
    name: <migration-plan-name>
    namespace: <vm-namespace>

应用 manifest:

kubectl create -f <storage-migration-file>.yaml

监控进度:

kubectl get virtualmachinestoragemigration,virtualmachinestoragemigrationplan \
  -n "$NAMESPACE" -w

kubectl get vmim,pvc,dv -n "$NAMESPACE"

预期流程如下:

  1. ACP 创建目标 PVC 和 DataVolume。
  2. ACP 将 VM 磁盘引用更新为目标 DataVolume。
  3. KubeVirt 通过在线迁移执行工作负载更新。
  4. ACP 清理已完成的工作负载更新资源。
  5. VirtualMachineStorageMigration 达到 Completed。

当迁移达到 Completed 时,VM 规范会引用目标 DataVolume,VM 继续在迁移后的磁盘上运行。在删除任何旧存储对象之前,验证 VM、VMI、目标 PVC 和目标 DataVolume:

kubectl get vm "$VM" -n "$NAMESPACE" \
  -o jsonpath='{range .spec.template.spec.volumes[*]}{.name}{" -> "}{.dataVolume.name}{"\n"}{end}'

kubectl get vm,vmi,pvc,dv -n "$NAMESPACE"

迁移成功且来宾工作负载检查通过后,仅当旧 DataVolume 或 PVC 不再被 VM 或任何回滚操作步骤引用时,才能将其删除。

故障排除

没有 VM 准备好进行在线存储迁移

描述迁移计划:

kubectl describe virtualmachinestoragemigrationplan <migration-plan-name> -n "$NAMESPACE"

如果计划报告 No virtual machines are ready for storage migration,请检查 VM 是否正在运行,以及 VMI 是否同时报告 LiveMigratable=True 和 StorageLiveMigratable=True。

如果任一条件为 false,请先使用冷迁移或修复根本原因。同时确认目标 accessModes 和 volumeMode 受目标 StorageProfile 支持,并确认 VM 未报告 RestartRequired=True。常见原因包括非共享 PVC、本地存储、不受支持的网络绑定、不受支持的目标 PVC 属性、需要重启的待处理 VM 更改,以及节点调度约束。

在线迁移卡在调度阶段

描述处于 pending 状态的 launcher pod 或 VirtualMachineInstanceMigration:

kubectl get pod -n "$NAMESPACE" | grep virt-launcher
kubectl describe vmim <vmim-name> -n "$NAMESPACE"

常见原因包括:

  • 无法将目标 launcher pod 调度到不同于源节点的节点上。
  • VM 使用的 CPU 模型或 CPU 功能集仅存在于源节点上。
  • 无法将目标 PVC 附加到目标节点或挂载到目标节点上。

使用可移植的 CPU 模型,并确认目标存储支持所需的访问模式。

目标 DataVolume 未完成

检查 DataVolume 和 PVC 事件:

kubectl describe dv <destination-datavolume-name> -n "$NAMESPACE"
kubectl describe pvc <destination-pvc-name> -n "$NAMESPACE"

对于 WaitForFirstConsumer 存储,在消费者 pod 调度之前,出现 PendingPopulation 可能是正常现象。对于从块存储迁移到文件系统的场景,如果 CDI 报告目标 PVC 太小,请增大请求的目标大小后重试。

在线存储迁移未达到 Completed

如果 VirtualMachineStorageMigration 未达到 Completed,请检查存储迁移资源和底层 KubeVirt 迁移:

kubectl describe virtualmachinestoragemigration <migration-name> -n "$NAMESPACE"
kubectl get vmim -n "$NAMESPACE"
kubectl describe vmim <vmim-name> -n "$NAMESPACE"

如果 VirtualMachineInstanceMigration 仍在运行,请继续按照在线迁移问题进行故障排除。如果 VirtualMachineInstanceMigration 已成功完成,但存储迁移资源仍未完成,请收集迁移资源、迁移计划、VM、VMI、PVC、DataVolume 和控制器日志,然后联系支持团队。

迁移资源在清理期间卡住

首先删除迁移资源:

kubectl delete virtualmachinestoragemigration <migration-name> -n "$NAMESPACE" --wait=false
kubectl delete virtualmachinestoragemigrationplan <migration-plan-name> -n "$NAMESPACE" --wait=false

如果 finalizer 阻止删除,请仅在确认没有正在运行的活动迁移后移除它:

kubectl patch virtualmachinestoragemigration <migration-name> -n "$NAMESPACE" --type=json \
  -p='[{"op":"remove","path":"/metadata/finalizers"}]'

kubectl patch virtualmachinestoragemigrationplan <migration-plan-name> -n "$NAMESPACE" --type=json \
  -p='[{"op":"remove","path":"/metadata/finalizers"}]'

在因在线存储迁移中断而重启 VM 之前,请确认 VM 引用的是哪个 DataVolume:

kubectl get vm "$VM" -n "$NAMESPACE" \
  -o jsonpath='{range .spec.template.spec.volumes[*]}{.name}{" -> "}{.dataVolume.name}{"\n"}{end}'

如果 VM 规范已更新但迁移未完成,请先完成迁移,或者将 VM 磁盘引用恢复为预期的 DataVolume,然后再启动 VM。

KubeVirt™ 是 The Linux Foundation 的商标。Alauda 是独立供应商。本产品与 The Linux Foundation 没有关联,也未获得其认可或赞助。所有商标均归其各自所有者所有,此处使用商标仅用于标识目的。