在 StorageClass 之间迁移虚拟机
本文介绍如何将虚拟机(VM)磁盘从一个 StorageClass 迁移到另一个 StorageClass。当需要将 VM 存储迁移到其他后端、存储池或 CSI 驱动程序时,可以使用此操作步骤,例如从 Ceph RBD 迁移到 CephFS、在两个 Ceph RBD 存储池之间迁移,或从平台提供的存储迁移到客户提供的 StorageClass。
有两种迁移方法可用:
目录
前提条件准备迁移使用 DataVolume 克隆进行冷迁移停止 VM创建目标 DataVolume更新 VM 磁盘引用启动并验证 VM在线存储迁移确认在线迁移就绪创建迁移对象故障排除没有 VM 准备好进行在线存储迁移在线迁移卡在调度阶段目标 DataVolume 未完成在线存储迁移未达到 Completed迁移资源在清理期间卡住前提条件
- 已启用 Alauda Virtualization,并包含实时存储迁移支持。
- 你拥有在 VM 命名空间中管理
VirtualMachine、VirtualMachineInstance、PersistentVolumeClaim和DataVolume资源的权限。 - 源 VM 使用 CDI
DataVolume或由 PVC 支持的磁盘。 - 目标 StorageClass 具有足够的容量,并支持所需的
accessModes和volumeMode。 - 对于冷迁移,请安排维护时段,因为在克隆磁盘和更新 VM 定义期间,VM 会处于停止状态。
- 对于实时存储迁移,运行中的 VMI 必须同时报告
LiveMigratable=True和StorageLiveMigratable=True。
准备迁移
为 VM 和目标存储设置变量:
在创建目标磁盘前检查目标 StorageProfile:
从目标 StorageProfile 支持的声明属性集中选择 accessModes 和 volumeMode。例如,Ceph RBD 通常与 volumeMode: Block 搭配使用,而 CephFS 通常与 volumeMode: Filesystem 搭配使用。
对于 VirtualMachineStorageMigrationPlan(用于实时存储迁移,本文档后面会对此进行介绍),你还可以将 accessModes 或 volumeMode 设置为 Auto,让存储迁移控制器从 StorageProfile 中查找该值。对于手动创建的 DataVolume,请使用明确的 Kubernetes PVC 值,例如 ReadWriteOnce、ReadWriteMany、Block 或 Filesystem。
如果计划使用实时存储迁移,请检查正在运行的 VMI 条件:
仅当输出包含以下两个条件时,才继续进行实时存储迁移:
如果任一条件缺失或设置为 False,请使用冷迁移,或先解决报告的限制再重试实时迁移。
使用 DataVolume 克隆进行冷迁移
冷迁移是跨 CSI 驱动程序兼容性最高的方法。它会停止 VM,将源 PVC 克隆到使用目标 StorageClass 的新 DataVolume 中,然后更新 VM 以使用新的 DataVolume。
停止 VM
停止 VM:
某些 VM API 版本会警告 spec.running 已弃用,建议改用
spec.runStrategy。如果 VM 已使用 spec.running,请勿在移除
spec.running 之前设置 spec.runStrategy,因为这两个字段互斥。
等待 VMI 被删除:
创建目标 DataVolume
创建一个 DataVolume,将源 PVC 克隆到目标 StorageClass:
应用清单:
对于具有 volumeBindingMode: Immediate 的 StorageClass,等待克隆完成:
对于具有 volumeBindingMode: WaitForFirstConsumer 的 StorageClass,DataVolume 可能会保持在 PendingPopulation,直到 VM 启动并成为第一个使用者。对于本地存储或拓扑感知型存储,这是预期行为。继续更新 VM,启动 VM,并监控 DataVolume 和 VMI。
从块模式迁移到文件系统模式时,请求的目标大小应大于源磁盘大小。增加 5% 到 10% 是一个实用的起始值,因为目标文件系统和磁盘映像文件需要额外空间。
更新 VM 磁盘引用
更新 VM,使根磁盘卷指向目标 DataVolume。
编辑 spec.dataVolumeTemplates 和 spec.template.spec.volumes 等数组时,请保留所有必需条目。如果 VM 具有其他磁盘、cloud-init 卷、密钥或配置映射,请将它们包含在最终的 VM 规范中,以免被移除。
补丁内容示例:
应用补丁:
启动并验证 VM
启动 VM:
检查 VM、VMI、PVC 和 DataVolume 的状态:
如果目标使用 WaitForFirstConsumer,请监控 DataVolume 和 PVC,直到 VM 启动:
VM 运行且来宾工作负载检查通过后,只有在确认旧 DataVolume 或 PVC 不再被 VM 引用后,才能将其删除。
在线存储迁移
仅当 VM 必须保持运行且满足所有在线迁移前提条件时,才使用在线存储迁移。
确认在线迁移就绪
检查 VMI 条件:
仅当输出包含 LiveMigratable=True 和 StorageLiveMigratable=True 时继续。
同时确认以下要求:
-
目标 StorageClass 可以使用所选的
accessModes和volumeMode创建 PVC。 -
VM 可以调度到多个节点上。
-
VM 不会在
.status.conditions中报告RestartRequired=True。如果 VM 有需要重启的待处理更改,请在开始在线存储迁移前重启 VM,或解决这些待处理更改。 -
如果集群包含不同的 CPU 型号,VM 使用所有候选节点都支持的 CPU 型号。
-
如果 VM 在 pod 网络上使用 bridge 绑定,则 VM 具有以下注解:
创建迁移对象
ACP 控制台是首选入口,因为它会在创建迁移资源之前验证 VM 和目标存储选项。
如果使用 Kubernetes manifest,请创建一个 VirtualMachineStorageMigrationPlan 和一个 VirtualMachineStorageMigration。仅有计划不会执行迁移——迁移对象才是触发器:
应用 manifest:
监控进度:
预期流程如下:
- ACP 创建目标 PVC 和 DataVolume。
- ACP 将 VM 磁盘引用更新为目标 DataVolume。
- KubeVirt 通过在线迁移执行工作负载更新。
- ACP 清理已完成的工作负载更新资源。
VirtualMachineStorageMigration达到Completed。
当迁移达到 Completed 时,VM 规范会引用目标 DataVolume,VM 继续在迁移后的磁盘上运行。在删除任何旧存储对象之前,验证 VM、VMI、目标 PVC 和目标 DataVolume:
迁移成功且来宾工作负载检查通过后,仅当旧 DataVolume 或 PVC 不再被 VM 或任何回滚操作步骤引用时,才能将其删除。
故障排除
没有 VM 准备好进行在线存储迁移
描述迁移计划:
如果计划报告 No virtual machines are ready for storage migration,请检查 VM 是否正在运行,以及 VMI 是否同时报告 LiveMigratable=True 和 StorageLiveMigratable=True。
如果任一条件为 false,请先使用冷迁移或修复根本原因。同时确认目标 accessModes 和 volumeMode 受目标 StorageProfile 支持,并确认 VM 未报告 RestartRequired=True。常见原因包括非共享 PVC、本地存储、不受支持的网络绑定、不受支持的目标 PVC 属性、需要重启的待处理 VM 更改,以及节点调度约束。
在线迁移卡在调度阶段
描述处于 pending 状态的 launcher pod 或 VirtualMachineInstanceMigration:
常见原因包括:
- 无法将目标 launcher pod 调度到不同于源节点的节点上。
- VM 使用的 CPU 模型或 CPU 功能集仅存在于源节点上。
- 无法将目标 PVC 附加到目标节点或挂载到目标节点上。
使用可移植的 CPU 模型,并确认目标存储支持所需的访问模式。
目标 DataVolume 未完成
检查 DataVolume 和 PVC 事件:
对于 WaitForFirstConsumer 存储,在消费者 pod 调度之前,出现 PendingPopulation 可能是正常现象。对于从块存储迁移到文件系统的场景,如果 CDI 报告目标 PVC 太小,请增大请求的目标大小后重试。
在线存储迁移未达到 Completed
如果 VirtualMachineStorageMigration 未达到 Completed,请检查存储迁移资源和底层 KubeVirt 迁移:
如果 VirtualMachineInstanceMigration 仍在运行,请继续按照在线迁移问题进行故障排除。如果 VirtualMachineInstanceMigration 已成功完成,但存储迁移资源仍未完成,请收集迁移资源、迁移计划、VM、VMI、PVC、DataVolume 和控制器日志,然后联系支持团队。
迁移资源在清理期间卡住
首先删除迁移资源:
如果 finalizer 阻止删除,请仅在确认没有正在运行的活动迁移后移除它:
在因在线存储迁移中断而重启 VM 之前,请确认 VM 引用的是哪个 DataVolume:
如果 VM 规范已更新但迁移未完成,请先完成迁移,或者将 VM 磁盘引用恢复为预期的 DataVolume,然后再启动 VM。
KubeVirt™ 是 The Linux Foundation 的商标。Alauda 是独立供应商。本产品与 The Linux Foundation 没有关联,也未获得其认可或赞助。所有商标均归其各自所有者所有,此处使用商标仅用于标识目的。