创建标准型集群

标准型集群是 Ceph 存储最典型的部署方式。它将数据副本分布在不同主机的硬盘上,确保单个主机故障时,其他主机上的数据副本仍能保持服务可用性。

前提条件

准备软件包

  • 下载对应您平台架构的 Alauda Container Platform Storage Essentials 安装包。

  • 通过上传软件包机制上传 Alauda Container Platform Storage Essentials 安装包。

  • 下载对应您平台架构的 Alauda Build of Rook-Ceph 安装包。

  • 通过上传软件包机制上传 Alauda Build of Rook-Ceph 安装包。

准备基础设施

  • 存储集群至少需要 3 个节点。

  • 每个节点必须至少有 1 个空白硬盘或 1 个未格式化的硬盘分区可用。

  • 建议可用硬盘容量大于 50 G。

  • 如果您使用的是以 Containerd 作为运行时组件的附加 Kubernetes 集群,请确保集群所有节点的 /etc/systemd/system/containerd.service 文件中的 LimitNOFILE 参数值配置为 1048576,以确保分布式存储部署成功。配置说明请参考 修改 Containerd 配置信息。

    注意:从 v3.10.2 之前版本升级到当前版本时,如果需要在自定义 Kubernetes 集群中部署以 Containerd 作为运行时组件的 Ceph 分布式存储,也必须将集群所有节点的 /etc/systemd/system/containerd.service 文件中的 LimitNOFILE 参数值设置为 1048576。

注意事项

创建存储服务 和 访问存储服务 仅支持选择一种方式。

操作步骤

部署 Alauda Container Platform Storage Essentials

  1. 登录,进入 管理员 页面。

  2. 点击 Marketplace > OperatorHub,进入 OperatorHub 页面。

  3. 找到 Alauda Container Platform Storage Essentials,点击 安装,进入 安装 Alauda Container Platform Storage Essentials 页面。

    配置参数:

    参数推荐配置
    Channel默认通道为 stable。
    安装模式Cluster:集群内所有命名空间共用一个 Operator 实例进行创建和管理,资源占用较低。
    安装位置选择 Recommended,命名空间仅支持 acp-storage。
    升级策略Manual:Operator Hub 有新版本时,需要手动确认升级 Operator 到最新版本。

(可选)部署 Alauda Build of LocalStorage

当使用“选择设备”方式为 Ceph 集群添加存储设备时,需部署 Alauda Build of LocalStorage Operator。该 Operator 负责自动发现 Kubernetes 集群中所有节点的硬盘设备并收集完整设备信息,简化存储集成流程。

  1. 登录,进入 管理员 页面。

  2. 点击 Marketplace > OperatorHub,进入 OperatorHub 页面。

  3. 找到 Alauda Build of LocalStorage,点击 安装,进入 安装 Alauda Build of LocalStorage 页面。

    配置参数:

    参数推荐配置
    Channel默认通道为 stable。
    安装模式Cluster:集群内所有命名空间共用一个 Operator 实例进行创建和管理,资源占用较低。
    安装位置选择 Recommended,命名空间仅支持 acp-storage。
    升级策略Manual:Operator Hub 有新版本时,需要手动确认升级 Operator 到最新版本。

部署 Operator

  1. 进入 管理员。

  2. 在左侧边栏点击 存储管理 > 分布式存储。

  3. 点击 立即配置。

  4. 在 部署 Operator 向导页面,点击右下角的 部署 Operator 按钮。

    • 页面自动跳转到下一步,表示 Operator 部署成功。

    • 若部署失败,请参考界面提示的 清理已部署信息并重试,重新部署 Operator;若需返回分布式存储选择页面,点击 应用商店,先卸载已部署的 rook-operator 资源,再卸载 rook-operator。

创建集群

  1. 在 创建集群 向导页面,配置相关参数,点击右下角的 创建集群 按钮。

    参数说明
    集群类型选择 标准型。
    设备类类型设备类是硬盘的分组;您可以根据存储需求自定义设备类,将不同性能的硬盘分配存储不同内容。
    • 默认设备类:平台会自动对集群节点中的硬盘类型进行分类,例如创建名为 hdd、ssd、nvme 的设备类。
    • 自定义设备类:自定义节点中特定组合硬盘的设备类名称,支持添加多个设备类。同一硬盘只能属于一个设备类。
    设备类 - 名称设备类名称。选择 自定义设备类 时,设备类名称不能使用以下名称:hdd、ssd、nvme。
    设备类 - 存储设备添加存储设备到设备类,可选择“选择设备”或“输入设备”方式:
    • 选择设备:
      从可用存储设备中选择。设备可用条件如下:
      • 设备类型为 disk 或 mpath
      • 未检测到文件系统(fsType 为空)
      • 容量大于 10 GiB
      rbd、nbd、dm-* 等设备不会显示在可选设备列表中。

      注意:需先部署 Alauda Build of LocalStorage Operator。
    • 输入设备:
      手动输入节点下空白设备名称,如 sda。

      注意:建议使用裸盘作为存储设备,避免使用硬盘上的单个分区,以获得更佳性能和管理效果。
    快照启用后支持创建 PVC 快照,并使用快照配置新 PVC,实现业务数据快速备份恢复。
    若创建存储时未启用快照,仍可在存储集群详情页的 操作 中按需启用。
    注意:使用前请确保已为当前集群部署卷快照插件。
    监控告警启用后将提供开箱即用的监控指标采集和告警能力,详见监控与告警。
    注意:若此时未启用,需自行寻找存储监控和告警方案,例如在运维中心手动配置监控面板和告警策略。
  2. 点击 高级配置 进行组件高级配置。

    参数说明
    网络配置
    • 主机网络:存储集群使用主机网络,需在优化参数栏填写相关网络优化参数,如配置 public 和 cluster 子网。若留空,则使用默认主机子网。
      注意:使用主机网络可能存在安全风险,因数据通过主机端口明文传输。请联系平台支持团队获取加密传输方案。
    • 容器网络:存储集群使用容器网络;可在网络管理中创建子网并分配给 rook-ceph 命名空间。若留空,则使用默认子网。
      注意:
      不支持 IPv6。
      使用容器网络时,存储仅集群内可访问。
      Ceph CSI Pod 故障或重启可能导致服务中断。
    优化参数支持填写 Ceph 配置文件格式的参数,系统将根据填写内容覆盖默认参数。
    注意:首次填写或修改初始化参数后,请点击初始化参数,需初始化成功后方可创建集群。
    组件定点部署可将组件部署到指定节点,至少需三个节点以保证最小可用性。支持定点部署的组件包括 MON、MGR、MDS、RGW。
    • 页面自动跳转到下一步,表示 Ceph 集群部署成功。

    • 若创建失败,可点击清理 已创建信息或重试,自动清理资源并重新创建集群,或根据文档 分布式存储服务资源清理 手动清理资源。

创建存储池

  1. 在 创建存储池 向导页面,配置相关参数,点击右下角的 创建存储池 按钮。

    参数说明
    存储类型
    • 文件存储:提供安全、可靠、可扩展的共享文件存储服务,适用于文件共享、数据备份等。
    • 块存储:提供高 IOPS 和低延迟的存储服务,适用于数据库、虚拟化等。
    • 对象存储:提供标准 S3 接口存储服务,适用于大数据、备份归档、云存储等。
    副本数副本数越多,冗余和数据安全性越高,但存储利用率降低。通常设置为 3,满足大多数需求。
    设备类对同类型设备或同一业务逻辑的硬盘进行统一分类,从上一步添加的设备类中选择。
    • 选择设备类后,数据将存储在所选设备类中。
    • 未选择设备类时,数据将在存储池所有设备中随机存储。

    对象存储还需配置以下参数:

    参数说明
    地域指定存储池所在的地域。
    网关类型默认是 S3,无法修改。
    内网端口指定集群内访问端口。
    外网访问启用/禁用外网访问将创建/销毁 NodePort 类型的 Service。
    实例数对象存储的资源实例数量。
    • 页面自动跳转到下一步,表示存储池部署成功。

    • 若部署失败,请根据界面提示检查核心组件,然后点击 清理已创建信息并重试 重新创建存储池。

  2. 点击 创建存储池,在 详情 标签页查看已创建存储池信息。

相关操作

创建 Stretch 型集群

详情请参考 创建 Stretch 型集群。

清理分布式存储

详情请参考 清理分布式存储。