在 Alauda OS 上部署的前提条件
本页介绍在节点运行 Alauda OS 的集群上部署 Alauda Storage 的前提条件。
本页仅介绍在 Alauda OS 集群上部署 Alauda Storage 特有的存储持久性和节点替换要求。持久化 MON/Rook 数据和本地 OSD 磁盘的要求适用于 Internal Mode,此模式下 Ceph 守护进程运行在集群节点上。External Mode 使用远程 Ceph 数据平面,并遵循该远程系统的持久性要求。有关节点数量、CPU 和内存、网络、时间同步、容量、版本及运行状况检查等常规 Ceph 要求,请参阅规划部署和适用的安装文档。在 Alauda OS 集群上,操作系统、Kubernetes 和节点配置通过替换节点进行更新,因此存储数据不得依赖节点本地的临时状态。
涵盖以下基础设施类型:
- Huawei DCS
- Huawei Cloud Stack (HCS)
- VMware vSphere
- 裸金属
对于 global 集群,请在 global 集群中创建和更新 MachineTemplate、ConfigPool、MachineDeployment 及相关资源,通常位于 cpaas-system 命名空间中。概览请参阅在 Alauda OS 上创建。有关提供商契约,请参阅基础设施资源、在 Alauda OS 集群上管理节点和 API 参考。
以下提供商示例仅展示用于为 Ceph 配置持久存储的字段。这些示例并非完整且可直接应用的清单;请根据适用于您环境的提供商文档,补充其余必需的提供商字段。
Alauda OS 要求
持久性和节点替换
MON/Rook 数据目录
当 Ceph 集群使用主机路径 MON 存储时,MON 数据库和 Rook 管理数据存储在 dataDirHostPath 下。此目录必须在节点替换后保留,因此必须位于由提供商管理的持久文件系统上。不得将其放置在节点系统盘、临时磁盘或原始 OSD 设备上。如果改用 MON PVC 模板,请遵循该 CSI 支持卷的持久性和调度要求。
请选择以下配置之一:
-
将持久文件系统挂载到产品支持的默认路径
/var/lib/rook,并设置CephCluster.spec.dataDirHostPath: /var/lib/rook。这是 Internal Mode 安装流程支持的路径。 -
仅当通过 YAML/API 配置资源时,才支持使用自定义路径,例如
/var/cpaas/rook。Internal Mode UI 不提供更改此路径的控件;请勿在 UI 安装流程中使用自定义路径。
Ceph 集群创建后,将 CephCluster.spec.dataDirHostPath 视为不可变配置。在创建 CephCluster 之前,选择最终的持久挂载路径。
持久文件系统可以使用专用磁盘,也可以与其他非 OSD 持久目录共享磁盘。请根据通用 Ceph 规划要求确定其大小。
OSD 数据磁盘
OSD 数据磁盘必须由提供商的持久磁盘机制管理,并在节点替换后重新挂载到对应的工作节点。使用磁盘 UUID、URN、插槽或提供商定义的等效标识,确认替换前后使用的是同一磁盘。
OSD 数据磁盘必须使用原始块模式,并且不得同时提供包含 dataDirHostPath 的文件系统。提供商必须在创建 Internal Mode Ceph 安装之前,将独立的原始设备呈现给节点。提供商示例中的容量仅用于展示提供商字段,并非通用的容量规划建议。
在 Internal Mode 向导中,使用提供商提供的稳定设备路径,将提供商呈现的原始磁盘添加到 OSD 设备类,最好使用 /dev/disk/by-id/...。不要将 MON/Rook 文件系统磁盘用作 OSD 设备。有关设备类配置,请参阅在 Internal Mode 中部署。
滚动节点替换
当 Ceph 数据磁盘由基础设施提供商池管理时,工作节点 MachineDeployment 必须使用固定插槽模型。maxSurge: 0 和 maxUnavailable: 1 是必需的,因为 surge VM 无法安全地使用与其替换的节点相同的主机名、IP 或持久磁盘插槽,而多个不可用的工作节点会同时移除多个存储插槽。应用控制平面控制器所需的等效先删除后创建发布设置;不要在未检查该控制器 API 的情况下,将工作节点的 MachineDeployment 字段复制到 KubeadmControlPlane:
此外,请确保:
- 未配置有限的
nodeDrainTimeout。 - Kubernetes Eviction API、PDB 和 Rook disruption controller 仍处于保护链路中。
- 不会通过删除 PDB 或 finalizer,或强制清理 OSD 来强制执行替换。
对于新创建的 Internal Mode CephCluster,请保持 PDB 管理启用(disruptionManagement.managePodBudgets: true)。当集群将使用 Alauda OS 节点替换时,请勿显式禁用它。已禁用 PDB 管理的现有集群并非在所有情况下都无效,但不符合本页面中的受保护替换要求,必须在替换前进行审查。PDB 仅保护 Eviction API 路径;强制删除、直接删除 Pod 或 Machine,以及节点故障不受该保护机制约束。有关 PDB 的一般行为,请参阅使用 PodDisruptionBudgets。
替换节点之前,请确认 Ceph 集群运行状况良好,所有 OSD 均为 up 和 in,placement group 未处于降级状态,并且相关 PDB 允许驱逐。一次只替换一个存储节点。替换后,请确认提供商已重新挂载原始持久磁盘、OSD 标识未发生变化、OSD 再次处于 up 和 in 状态,并且恢复已完成,然后再继续操作。如果任何检查失败,请停止发布;不要通过清除 OSD 或移除 Ceph 节点条目来走捷径。
华为 DCS
DCS 环境必须通过 DCSIpHostnamePool 声明可供 Rook 使用的持久磁盘。在 global 集群中配置该资源,通常位于 cpaas-system。有关提供商特定的基础设施、节点管理和 API 详细信息,请参阅 DCS 持久磁盘、DCS 节点管理 和 DCS 持久 IP 主机名池 API:
此示例中的 IP 地址、网关和 DNS 值展示了池插槽与节点网络标识之间的关系。请将其替换为环境中的值。这些是提供商节点设置,而不是 Rook 特定的网络要求。
当 DCS 机器模板使用此池时,必须通过 ipHostPoolRef 引用该池。此代码片段省略了其他必需的模板字段,包括 VM 模板选择:
主要要求:
- 在
DCSIpHostnamePool.spec.pool[].persistentDisk中配置 Rook 的磁盘;不要仅在DCSMachine模板中配置普通虚拟磁盘。 - DCS 通过
(IP, slot)重用持久磁盘标识。节点替换后,请确认每个原始 OSD 数据磁盘仍映射到相同的持久磁盘标识。 - 为 MON/Rook 数据目录磁盘设置
path: /var/lib/rook和format: xfs。对于 OSD 磁盘,省略path和format,使其保持为原始块设备。 - 在
datastoreClusterName和datastoreName中恰好设置一个;此示例使用 datastore 集群。DCS 通过池条目中的(IP, slot)重用持久磁盘,并在status.persistentDiskStatus中记录卷 URN。
华为云 Stack(HCS)
对于 HCS,请确认提供商为每个存储工作节点提供持久且可重新挂载的 Ceph 数据磁盘。在 global 集群中配置该资源,通常位于 cpaas-system。有关提供商详细信息,请参阅在华为云 Stack 上创建集群中的磁盘、HCS 节点管理 和 HCS 机器配置池 API:
此示例中的网络设置展示了节点配置和固定 IP。请将其替换为环境中的网络参数。如果已存在可用的 ConfigPool,请保留其网络设置,并确认节点替换仍会重用相同的主机名和插槽。
HCS 提供商通过 HCSMachineConfigPool 为固定机器配置声明持久磁盘:
persistentDisks[] 中的 slot 值必须连续且从 0 开始。它们与主机名共同构成持久磁盘标识。在此示例中,插槽 0 是 MON/Rook 数据目录磁盘,插槽 1 是原始 OSD 磁盘。请在 ConfigPool 中配置持久磁盘,而不要仅在 HCSMachineTemplate.spec.template.spec.dataVolumes[] 中配置;后者包含会随 ECS 实例一起移除的临时数据磁盘。
主要要求:
- 在
HCSMachineConfigPool.spec.configs[].persistentDisks[]中配置持久磁盘,而不仅仅是在HCSMachineTemplate.spec.template.spec.dataVolumes[]中配置。 - 插槽 0 是 MON/Rook 数据目录磁盘,必须使用
mountPath: /var/lib/rook和format: xfs;插槽 1 是独立的原始 OSD 磁盘,不得具有文件系统挂载。 - 节点替换后必须重用
(hostname, slot)标识,以便重新挂载原始持久磁盘。
对应的 HCSMachineTemplate 必须通过 configPoolRef 引用此池,并且也必须在 global 集群中创建,通常位于 cpaas-system:
请根据目标版本遵循提供商 API 和节点管理文档,了解 HCS 的磁盘类型、挂载策略和机器模板字段。
VMware vSphere
vSphere 提供商使用 VSphereMachineConfigPool 声明持久磁盘。对于固定的机器配置,即使删除 VM,这些磁盘也会保留。请在 global 集群中配置此资源,通常位于 cpaas-system。请参阅 Create a Cluster on VMware vSphere、vSphere Node Management 和 vSphere Machine Config Pool API。随后,VSphereMachineTemplate 会引用此池:
此示例还列出了网络设置,以说明如何通过池插槽重用固定 IP。请将 IP、网关、DNS 和网络名称替换为您环境中的值。这些网络字段并非 Rook 特有,但节点替换时必须保留节点的网络标识。
请使用 vSphere 提供商文档中说明的、适用于已安装提供商 API 的机器模板到池的引用方式。应用此资源之前,提供商 API 参考和创建工作流必须保持一致;本页不重复介绍提供商特有的模板架构。
主要要求:
- Ceph 数据磁盘不得是会随 VM 一起删除的临时磁盘。
- 必须在
VSphereMachineConfigPool.spec.configs[].persistentDisks[]中配置持久磁盘,而不能仅将其配置为 MachineTemplate 中的临时dataDisks。 - 在
VSphereMachineConfigPool.spec.configs[].network.primary.ip中配置固定 IP。当节点替换重用同一池插槽时,提供商会继续将该 IP 用于新 VM。每个 IP 在网络中都必须是唯一可用的,且不得依赖 DHCP 分配。 - 设置
wipeFilesystem: false并使用固定的unitNumber,以便在重建 VM 时保留数据并保持设备顺序稳定。 - 节点替换后,必须识别并重新挂载原始 OSD 数据磁盘,而不能用容量相同的新磁盘替换它。
dataDirHostPath必须指向持久 MON/Rook VMDK 的挂载点。请勿格式化 OSD VMDK 并将其用于此路径。
裸金属
裸金属环境必须提供与 Alauda OS 节点替换模型等效的持久性。创建 CephCluster 之前,请根据提供商文档中说明的清单和重新配置工作流确认:
- MON/Rook 文件系统具有持久性,已挂载到选定的
CephCluster.spec.dataDirHostPath,并且在 Ceph Pod 启动前可写入; - 在节点重新安装或替换期间,每个 OSD 设备都保持为稳定的原始设备;
- 在此过程中,提供商不会格式化或回收 OSD 设备;并且
- 在替换主机上能够重新发现相同的设备标识。
不要根据 MachineInventoryPool 成员关系推断磁盘具有持久性,也不要使用目标提供商 CRD 中不存在的提供商字段。本页未定义裸金属磁盘绑定架构。请参阅 Bare Metal Provider APIs 和 Bare Metal Node Management,了解提供商支持的清单和重新配置行为。
安装前检查清单
在安装 Alauda Storage 之前,请为 Alauda OS 集群确认以下事项:
- provider 将 OSD 磁盘作为持久原始块磁盘进行管理,并与节点系统磁盘分离。
- 对于受支持的 Internal Mode 流程,MON/Rook 数据目录配置为
CephCluster.spec.dataDirHostPath: /var/lib/rook;使用其他路径时,则通过 YAML/API 显式配置;该目录位于 provider 管理的持久文件系统上,在节点上可写,并且不使用原始 OSD 设备。 - 已确认节点替换后数据磁盘的稳定身份和重新挂载流程。
- worker MachineDeployment 使用
maxSurge: 0和maxUnavailable: 1。 - 未配置有限的
nodeDrainTimeout,为新创建的 Internal Mode CephCluster 保留disruptionManagement.managePodBudgets: true,并保留 PDB、Eviction API 和 Rook disruption controller 保护路径。 - 已将持久性验证为节点替换保护,而不是将其视为 Ceph 或应用一致性备份的替代方案。
- 已查阅目标基础设施 provider 的资源配置文档。
满足这些条件后,在目标业务集群中创建 CephCluster,然后继续执行在 Internal Mode 中部署。上述介绍的 provider MachineTemplate、ConfigPool 和 MachineDeployment 资源属于 global 集群,通常位于 cpaas-system 中。Internal Mode UI 使用 /var/lib/rook;如果需要自定义 CephCluster.spec.dataDirHostPath,请改用 YAML/API 配置。
Ceph 是 Red Hat, Inc. 或其子公司在美国及其他国家/地区的商标或注册商标。 Rook® 是 The Linux Foundation 的注册商标。 Alauda 是一家独立供应商。本产品不隶属于 LF Projects, LLC 或 The Linux Foundation,也未获得其认可或赞助。所有商标均为其各自所有者的财产,本文仅将其用于标识目的。