在 Alauda OS 上部署的前提条件

本页介绍在节点运行 Alauda OS 的集群上部署 Alauda Storage 的前提条件。

本页仅介绍在 Alauda OS 集群上部署 Alauda Storage 特有的存储持久性和节点替换要求。持久化 MON/Rook 数据和本地 OSD 磁盘的要求适用于 Internal Mode,此模式下 Ceph 守护进程运行在集群节点上。External Mode 使用远程 Ceph 数据平面,并遵循该远程系统的持久性要求。有关节点数量、CPU 和内存、网络、时间同步、容量、版本及运行状况检查等常规 Ceph 要求,请参阅规划部署和适用的安装文档。在 Alauda OS 集群上,操作系统、Kubernetes 和节点配置通过替换节点进行更新,因此存储数据不得依赖节点本地的临时状态。

涵盖以下基础设施类型:

  • Huawei DCS
  • Huawei Cloud Stack (HCS)
  • VMware vSphere
  • 裸金属

对于 global 集群,请在 global 集群中创建和更新 MachineTemplate、ConfigPool、MachineDeployment 及相关资源,通常位于 cpaas-system 命名空间中。概览请参阅在 Alauda OS 上创建。有关提供商契约,请参阅基础设施资源、在 Alauda OS 集群上管理节点和 API 参考。

以下提供商示例仅展示用于为 Ceph 配置持久存储的字段。这些示例并非完整且可直接应用的清单;请根据适用于您环境的提供商文档,补充其余必需的提供商字段。

Alauda OS 要求

持久性和节点替换

MON/Rook 数据目录

当 Ceph 集群使用主机路径 MON 存储时,MON 数据库和 Rook 管理数据存储在 dataDirHostPath 下。此目录必须在节点替换后保留,因此必须位于由提供商管理的持久文件系统上。不得将其放置在节点系统盘、临时磁盘或原始 OSD 设备上。如果改用 MON PVC 模板,请遵循该 CSI 支持卷的持久性和调度要求。

请选择以下配置之一:

  • 将持久文件系统挂载到产品支持的默认路径 /var/lib/rook,并设置 CephCluster.spec.dataDirHostPath: /var/lib/rook。这是 Internal Mode 安装流程支持的路径。

  • 仅当通过 YAML/API 配置资源时,才支持使用自定义路径,例如 /var/cpaas/rook。Internal Mode UI 不提供更改此路径的控件;请勿在 UI 安装流程中使用自定义路径。

    spec:
      dataDirHostPath: /var/cpaas/rook

Ceph 集群创建后,将 CephCluster.spec.dataDirHostPath 视为不可变配置。在创建 CephCluster 之前,选择最终的持久挂载路径。

持久文件系统可以使用专用磁盘,也可以与其他非 OSD 持久目录共享磁盘。请根据通用 Ceph 规划要求确定其大小。

OSD 数据磁盘

OSD 数据磁盘必须由提供商的持久磁盘机制管理,并在节点替换后重新挂载到对应的工作节点。使用磁盘 UUID、URN、插槽或提供商定义的等效标识,确认替换前后使用的是同一磁盘。

OSD 数据磁盘必须使用原始块模式,并且不得同时提供包含 dataDirHostPath 的文件系统。提供商必须在创建 Internal Mode Ceph 安装之前,将独立的原始设备呈现给节点。提供商示例中的容量仅用于展示提供商字段,并非通用的容量规划建议。

在 Internal Mode 向导中,使用提供商提供的稳定设备路径,将提供商呈现的原始磁盘添加到 OSD 设备类,最好使用 /dev/disk/by-id/...。不要将 MON/Rook 文件系统磁盘用作 OSD 设备。有关设备类配置,请参阅在 Internal Mode 中部署。

提供商磁盘呈现方式Internal Mode 配置设备值
提供商呈现空白原始磁盘将其添加到 OSD 设备类输入稳定的提供商路径,最好使用 /dev/disk/by-id/...;不要使用简短的 /dev/sdX 名称
提供商将 MON/Rook 数据磁盘呈现为已挂载的文件系统不要将其添加到 OSD 设备类将其保持挂载在 /var/lib/rook,供 dataDirHostPath 使用

滚动节点替换

当 Ceph 数据磁盘由基础设施提供商池管理时,工作节点 MachineDeployment 必须使用固定插槽模型。maxSurge: 0 和 maxUnavailable: 1 是必需的,因为 surge VM 无法安全地使用与其替换的节点相同的主机名、IP 或持久磁盘插槽,而多个不可用的工作节点会同时移除多个存储插槽。应用控制平面控制器所需的等效先删除后创建发布设置;不要在未检查该控制器 API 的情况下,将工作节点的 MachineDeployment 字段复制到 KubeadmControlPlane:

strategy:
  rollingUpdate:
    maxSurge: 0
    maxUnavailable: 1

此外,请确保:

  • 未配置有限的 nodeDrainTimeout。
  • Kubernetes Eviction API、PDB 和 Rook disruption controller 仍处于保护链路中。
  • 不会通过删除 PDB 或 finalizer,或强制清理 OSD 来强制执行替换。

对于新创建的 Internal Mode CephCluster,请保持 PDB 管理启用(disruptionManagement.managePodBudgets: true)。当集群将使用 Alauda OS 节点替换时,请勿显式禁用它。已禁用 PDB 管理的现有集群并非在所有情况下都无效,但不符合本页面中的受保护替换要求,必须在替换前进行审查。PDB 仅保护 Eviction API 路径;强制删除、直接删除 Pod 或 Machine,以及节点故障不受该保护机制约束。有关 PDB 的一般行为,请参阅使用 PodDisruptionBudgets。

替换节点之前,请确认 Ceph 集群运行状况良好,所有 OSD 均为 up 和 in,placement group 未处于降级状态,并且相关 PDB 允许驱逐。一次只替换一个存储节点。替换后,请确认提供商已重新挂载原始持久磁盘、OSD 标识未发生变化、OSD 再次处于 up 和 in 状态,并且恢复已完成,然后再继续操作。如果任何检查失败,请停止发布;不要通过清除 OSD 或移除 Ceph 节点条目来走捷径。

华为 DCS

DCS 环境必须通过 DCSIpHostnamePool 声明可供 Rook 使用的持久磁盘。在 global 集群中配置该资源,通常位于 cpaas-system。有关提供商特定的基础设施、节点管理和 API 详细信息,请参阅 DCS 持久磁盘、DCS 节点管理 和 DCS 持久 IP 主机名池 API:

此示例中的 IP 地址、网关和 DNS 值展示了池插槽与节点网络标识之间的关系。请将其替换为环境中的值。这些是提供商节点设置,而不是 Rook 特定的网络要求。

apiVersion: infrastructure.cluster.x-k8s.io/v1beta1
kind: DCSIpHostnamePool
metadata:
  name: ceph-worker-pool
  namespace: cpaas-system
spec:
  pool:
    - ip: 192.0.2.101
      mask: "24"
      gateway: 192.0.2.1
      dns: 192.0.2.53
      hostname: worker-01
      persistentDisk:
        - slot: 0
          quantityGB: 30
          datastoreClusterName: worker-datastore-cluster
          path: /var/lib/rook
          format: xfs
        - slot: 1
          quantityGB: 300
          datastoreClusterName: worker-datastore-cluster
    - ip: 192.0.2.102
      mask: "24"
      gateway: 192.0.2.1
      dns: 192.0.2.53
      hostname: worker-02
      persistentDisk:
        - slot: 0
          quantityGB: 30
          datastoreClusterName: worker-datastore-cluster
          path: /var/lib/rook
          format: xfs
        - slot: 1
          quantityGB: 300
          datastoreClusterName: worker-datastore-cluster
    - ip: 192.0.2.103
      mask: "24"
      gateway: 192.0.2.1
      dns: 192.0.2.53
      hostname: worker-03
      persistentDisk:
        - slot: 0
          quantityGB: 30
          datastoreClusterName: worker-datastore-cluster
          path: /var/lib/rook
          format: xfs
        - slot: 1
          quantityGB: 300
          datastoreClusterName: worker-datastore-cluster

当 DCS 机器模板使用此池时,必须通过 ipHostPoolRef 引用该池。此代码片段省略了其他必需的模板字段,包括 VM 模板选择:

apiVersion: infrastructure.cluster.x-k8s.io/v1beta1
kind: DCSMachineTemplate
metadata:
  name: ceph-worker-template
  namespace: cpaas-system
spec:
  template:
    spec:
      vmTemplateName: <vm-template-name>
      ipHostPoolRef:
        name: ceph-worker-pool
      # Other VM, network, and resource settings omitted

主要要求:

  • 在 DCSIpHostnamePool.spec.pool[].persistentDisk 中配置 Rook 的磁盘;不要仅在 DCSMachine 模板中配置普通虚拟磁盘。
  • DCS 通过 (IP, slot) 重用持久磁盘标识。节点替换后,请确认每个原始 OSD 数据磁盘仍映射到相同的持久磁盘标识。
  • 为 MON/Rook 数据目录磁盘设置 path: /var/lib/rook 和 format: xfs。对于 OSD 磁盘,省略 path 和 format,使其保持为原始块设备。
  • 在 datastoreClusterName 和 datastoreName 中恰好设置一个;此示例使用 datastore 集群。DCS 通过池条目中的 (IP, slot) 重用持久磁盘,并在 status.persistentDiskStatus 中记录卷 URN。

华为云 Stack(HCS)

对于 HCS,请确认提供商为每个存储工作节点提供持久且可重新挂载的 Ceph 数据磁盘。在 global 集群中配置该资源,通常位于 cpaas-system。有关提供商详细信息,请参阅在华为云 Stack 上创建集群中的磁盘、HCS 节点管理 和 HCS 机器配置池 API:

此示例中的网络设置展示了节点配置和固定 IP。请将其替换为环境中的网络参数。如果已存在可用的 ConfigPool,请保留其网络设置,并确认节点替换仍会重用相同的主机名和插槽。

HCS 提供商通过 HCSMachineConfigPool 为固定机器配置声明持久磁盘:

apiVersion: infrastructure.cluster.x-k8s.io/v1beta1
kind: HCSMachineConfigPool
metadata:
  name: hcs-acp-biz-worker-pool
  namespace: cpaas-system
spec:
  configs:
    - hostname: worker-01
      networks:
        - ipAddress: 192.0.2.101
          subnetName: worker-subnet
      persistentDisks:
        - slot: 0
          size: 30
          type: SSD
          mountPath: /var/lib/rook
          format: xfs
        - slot: 1
          size: 300
          type: SSD
    - hostname: worker-02
      networks:
        - ipAddress: 192.0.2.102
          subnetName: worker-subnet
      persistentDisks:
        - slot: 0
          size: 30
          type: SSD
          mountPath: /var/lib/rook
          format: xfs
        - slot: 1
          size: 300
          type: SSD
    - hostname: worker-03
      networks:
        - ipAddress: 192.0.2.103
          subnetName: worker-subnet
      persistentDisks:
        - slot: 0
          size: 30
          type: SSD
          mountPath: /var/lib/rook
          format: xfs
        - slot: 1
          size: 300
          type: SSD

persistentDisks[] 中的 slot 值必须连续且从 0 开始。它们与主机名共同构成持久磁盘标识。在此示例中,插槽 0 是 MON/Rook 数据目录磁盘,插槽 1 是原始 OSD 磁盘。请在 ConfigPool 中配置持久磁盘,而不要仅在 HCSMachineTemplate.spec.template.spec.dataVolumes[] 中配置;后者包含会随 ECS 实例一起移除的临时数据磁盘。

主要要求:

  • 在 HCSMachineConfigPool.spec.configs[].persistentDisks[] 中配置持久磁盘,而不仅仅是在 HCSMachineTemplate.spec.template.spec.dataVolumes[] 中配置。
  • 插槽 0 是 MON/Rook 数据目录磁盘,必须使用 mountPath: /var/lib/rook 和 format: xfs;插槽 1 是独立的原始 OSD 磁盘,不得具有文件系统挂载。
  • 节点替换后必须重用 (hostname, slot) 标识,以便重新挂载原始持久磁盘。

对应的 HCSMachineTemplate 必须通过 configPoolRef 引用此池,并且也必须在 global 集群中创建,通常位于 cpaas-system:

apiVersion: infrastructure.cluster.x-k8s.io/v1beta1
kind: HCSMachineTemplate
metadata:
  name: ceph-worker-template
  namespace: cpaas-system
spec:
  template:
    spec:
      configPoolRef:
        name: hcs-acp-biz-worker-pool
      # Other ECS, image, and network settings omitted

请根据目标版本遵循提供商 API 和节点管理文档,了解 HCS 的磁盘类型、挂载策略和机器模板字段。

VMware vSphere

vSphere 提供商使用 VSphereMachineConfigPool 声明持久磁盘。对于固定的机器配置,即使删除 VM,这些磁盘也会保留。请在 global 集群中配置此资源,通常位于 cpaas-system。请参阅 Create a Cluster on VMware vSphere、vSphere Node Management 和 vSphere Machine Config Pool API。随后,VSphereMachineTemplate 会引用此池:

此示例还列出了网络设置,以说明如何通过池插槽重用固定 IP。请将 IP、网关、DNS 和网络名称替换为您环境中的值。这些网络字段并非 Rook 特有,但节点替换时必须保留节点的网络标识。

apiVersion: infrastructure.cluster.x-k8s.io/v1beta1
kind: VSphereMachineConfigPool
metadata:
  name: ceph-worker-pool
  namespace: cpaas-system
spec:
  clusterRef:
    name: demo-cluster
  datacenter: dc-01
  configs:
    - hostname: worker-01
      network:
        primary:
          ip: 192.0.2.101/24
          gateway: 192.0.2.1
          dns:
            - 192.0.2.53
          networkName: workload-network
      persistentDisks:
        - name: rook-mon-data
          sizeGiB: 30
          datastore: ceph-datastore
          mountPath: /var/lib/rook
          fsFormat: xfs
          unitNumber: 1
          wipeFilesystem: false
        - name: rook-osd
          sizeGiB: 300
          datastore: ceph-datastore
          unitNumber: 2
          wipeFilesystem: false
    - hostname: worker-02
      network:
        primary:
          ip: 192.0.2.102/24
          gateway: 192.0.2.1
          dns:
            - 192.0.2.53
          networkName: workload-network
      persistentDisks:
        - name: rook-mon-data
          sizeGiB: 30
          datastore: ceph-datastore
          mountPath: /var/lib/rook
          fsFormat: xfs
          unitNumber: 1
          wipeFilesystem: false
        - name: rook-osd
          sizeGiB: 300
          datastore: ceph-datastore
          unitNumber: 2
          wipeFilesystem: false
    - hostname: worker-03
      network:
        primary:
          ip: 192.0.2.103/24
          gateway: 192.0.2.1
          dns:
            - 192.0.2.53
          networkName: workload-network
      persistentDisks:
        - name: rook-mon-data
          sizeGiB: 30
          datastore: ceph-datastore
          mountPath: /var/lib/rook
          fsFormat: xfs
          unitNumber: 1
          wipeFilesystem: false
        - name: rook-osd
          sizeGiB: 300
          datastore: ceph-datastore
          unitNumber: 2
          wipeFilesystem: false

请使用 vSphere 提供商文档中说明的、适用于已安装提供商 API 的机器模板到池的引用方式。应用此资源之前,提供商 API 参考和创建工作流必须保持一致;本页不重复介绍提供商特有的模板架构。

主要要求:

  • Ceph 数据磁盘不得是会随 VM 一起删除的临时磁盘。
  • 必须在 VSphereMachineConfigPool.spec.configs[].persistentDisks[] 中配置持久磁盘,而不能仅将其配置为 MachineTemplate 中的临时 dataDisks。
  • 在 VSphereMachineConfigPool.spec.configs[].network.primary.ip 中配置固定 IP。当节点替换重用同一池插槽时,提供商会继续将该 IP 用于新 VM。每个 IP 在网络中都必须是唯一可用的,且不得依赖 DHCP 分配。
  • 设置 wipeFilesystem: false 并使用固定的 unitNumber,以便在重建 VM 时保留数据并保持设备顺序稳定。
  • 节点替换后,必须识别并重新挂载原始 OSD 数据磁盘,而不能用容量相同的新磁盘替换它。
  • dataDirHostPath 必须指向持久 MON/Rook VMDK 的挂载点。请勿格式化 OSD VMDK 并将其用于此路径。

裸金属

裸金属环境必须提供与 Alauda OS 节点替换模型等效的持久性。创建 CephCluster 之前,请根据提供商文档中说明的清单和重新配置工作流确认:

  • MON/Rook 文件系统具有持久性,已挂载到选定的 CephCluster.spec.dataDirHostPath,并且在 Ceph Pod 启动前可写入;
  • 在节点重新安装或替换期间,每个 OSD 设备都保持为稳定的原始设备;
  • 在此过程中,提供商不会格式化或回收 OSD 设备;并且
  • 在替换主机上能够重新发现相同的设备标识。

不要根据 MachineInventoryPool 成员关系推断磁盘具有持久性,也不要使用目标提供商 CRD 中不存在的提供商字段。本页未定义裸金属磁盘绑定架构。请参阅 Bare Metal Provider APIs 和 Bare Metal Node Management,了解提供商支持的清单和重新配置行为。

安装前检查清单

在安装 Alauda Storage 之前,请为 Alauda OS 集群确认以下事项:

  • provider 将 OSD 磁盘作为持久原始块磁盘进行管理,并与节点系统磁盘分离。
  • 对于受支持的 Internal Mode 流程,MON/Rook 数据目录配置为 CephCluster.spec.dataDirHostPath: /var/lib/rook;使用其他路径时,则通过 YAML/API 显式配置;该目录位于 provider 管理的持久文件系统上,在节点上可写,并且不使用原始 OSD 设备。
  • 已确认节点替换后数据磁盘的稳定身份和重新挂载流程。
  • worker MachineDeployment 使用 maxSurge: 0 和 maxUnavailable: 1。
  • 未配置有限的 nodeDrainTimeout,为新创建的 Internal Mode CephCluster 保留 disruptionManagement.managePodBudgets: true,并保留 PDB、Eviction API 和 Rook disruption controller 保护路径。
  • 已将持久性验证为节点替换保护,而不是将其视为 Ceph 或应用一致性备份的替代方案。
  • 已查阅目标基础设施 provider 的资源配置文档。

满足这些条件后,在目标业务集群中创建 CephCluster,然后继续执行在 Internal Mode 中部署。上述介绍的 provider MachineTemplate、ConfigPool 和 MachineDeployment 资源属于 global 集群,通常位于 cpaas-system 中。Internal Mode UI 使用 /var/lib/rook;如果需要自定义 CephCluster.spec.dataDirHostPath,请改用 YAML/API 配置。

Ceph 是 Red Hat, Inc. 或其子公司在美国及其他国家/地区的商标或注册商标。 Rook® 是 The Linux Foundation 的注册商标。 Alauda 是一家独立供应商。本产品不隶属于 LF Projects, LLC 或 The Linux Foundation,也未获得其认可或赞助。所有商标均为其各自所有者的财产,本文仅将其用于标识目的。