创建标准类型集群

标准类型集群是 Ceph 存储的最典型部署方式。它将数据副本分布在不同主机的硬盘上,确保单个主机故障时,其他主机上的数据副本仍能保持服务可用性。

前提条件

  • 存储集群中至少需要 3 个节点。

  • 每个节点上必须至少有 1 块空白硬盘或 1 块未格式化的硬盘分区可用。

  • 可用的硬盘容量建议大于 50 G。

  • 如果您使用的是接入的 Kubernetes 集群,且运行时组件为 Containerd,请确保集群所有节点的 /etc/systemd/system/containerd.service 文件中 LimitNOFILE 参数值配置为 1048576,以确保分布式存储的成功部署。有关配置说明,请参考 修改 Containerd 配置信息

    注意:当从 v3.10.2 之前的版本升级到当前版本时,如果你需要在自建的运行时组件为 Containerd 的 Kubernetes 集群上部署 Ceph 分布式存储,还必须将集群所有节点的 /etc/systemd/system/containerd.service 文件的 LimitNOFILE 参数值配置为 1048576

注意事项

创建存储服务接入存储服务 仅支持选择一种方式。

操作步骤

部署 Operator

  1. 进入 平台管理

  2. 在左侧导航栏中,单击 存储管理 > 分布式存储

  3. 单击 立即配置

  4. 部署 Operator 向导页面,单击右下角的 部署 Operator 按钮。

    • 当页面自动进入下一步时,表示 Operator 部署成功。

    • 如果部署失败,请根据界面提示选择 清理已部署信息并重试,然后重新部署 Operator;如果您希望返回分布式存储选择页面,请单击 应用商店,先卸载已部署的 rook-operator 内的资源实例,然后再卸载 rook-operator

创建集群

  1. 创建集群 向导页面中,配置相关参数并单击右下角的 创建集群 按钮。

    参数说明
    集群类型选择 标准
    设备类类型设备类是硬盘的分组;您可以根据存储需求自定义设备类,将不同存储内容分配给不同性能的硬盘。
    • 默认设备类:平台将自动对集群节点中的硬盘类型进行分类。例如,创建名为 hddssdnvme 的设备类。
    • 自定义设备类:为节点中特定硬盘组合自定义设备类名称;支持添加多个设备类。同一硬盘只能属于一个设备类。
    设备类 - 名称设备类的名称。当选择 自定义设备类 时,设备类不能使用以下名称:hddssdnvme
    设备类 - 存储设备在节点中选择 空白硬盘未格式化的硬盘分区
    • 当打开“所有空设备”开关时:所有空设备将被添加到该设备类;
    • 当关闭“所有空设备”开关时:手动输入节点下的空设备名称,例如 sda
    快照开启后,支持创建 PVC 快照并使用快照配置新的 PVC,以便快速备份和恢复业务数据。
    如果在创建存储时未启用快照,仍然可以在存储集群详情页面的 操作 部分按需启用。
    注意:请确保已为当前集群 部署卷快照插件
    监控告警开启后,将提供开箱即用的监控指标采集和告警提醒功能,详见 监控与告警
    注意:如果此时未开启,您需要寻找其他解决方案来监控和告警存储。例如,在运维中心手动配置监控仪表板和告警策略。
  2. 单击 高级配置 进行组件的高级配置。

    参数说明
    网络配置
    • 主机网络:存储集群将使用主机网络,您在优化参数列中填写相关网络优化参数,例如配置 publiccluster 网段。如果为空,系统将使用默认主机网段。
      注意:使用主机网络可能会因为明文(未加密)传输数据而产生安全风险。请联系平台支持团队以获取加密传输解决方案。
    • 容器网络:存储集群将使用容器网络;您可以在网络管理中创建子网并将其分配到 rook-ceph 命名空间。如果为空,系统将使用默认子网。
      注意
      不支持 IPv6。
      当使用容器网络时,存储只可在集群内访问。
      Ceph CSI Pod 的失败或重启可能会导致服务中断。
    优化参数支持使用 Ceph 配置文件格式填写参数;系统将根据填写的内容覆盖默认参数。
    注意:首次填写或修改初始化参数后,请单击初始化参数,必须先成功初始化才能创建集群。
    组件定点部署您可以将组件定点部署到指定节点;至少需要三个节点以确保最小可用性。可进行定点部署的组件包括 MON、MGR、MDS、RGW。
    • 当页面自动进入下一步时,表示 Ceph 集群部署成功。

    • 如果创建失败,您可以单击清理 已创建信息或重试,自动清理资源并重新创建集群,或根据文档 分布式存储服务资源清理 手动清理资源。

创建存储池

  1. 创建存储池 向导页面中,配置相关参数并单击右下角的 创建存储池 按钮。

    参数说明
    存储类型
    • 文件存储:提供安全、可靠、可扩展的共享文件存储服务。适用于文件共享、数据备份等场景。
    • 块存储:提供高 IOPS 和低延迟的存储服务。适用于数据库、虚拟化等场景。
    • 对象存储:提供标准 S3 接口的存储服务,适用于大数据、备份归档、云存储等场景。
    副本数量副本数量越大,冗余度与数据安全性越高;但存储的利用率将降低。通常设置为 3 以满足大多数需求。
    设备类对同一类型的设备或相同业务逻辑的硬盘进行统一分类,从上一步已添加的设备类中进行选择。
    • 选择设备类时,数据将存储在所选设备类中。
    • 如果未选择设备类,数据将随机存储在存储池中的所有设备中。

    如果是对象存储,您还需配置以下参数:

    参数说明
    区域指定存储池所在的区域。
    网关类型默认是 S3,且无法修改。
    内部端口指定集群内部访问的端口。
    外部访问启用/禁用外部访问将创建/销毁 Nodeport 类型的 Service。
    实例数量对象存储的资源实例数量。
    • 当页面自动进入下一步时,表示存储池部署成功。

    • 如果部署失败,请根据界面提示检查核心组件,然后单击 清理已创建信息并重试 以重新创建存储池。

  2. 单击 创建存储池。在 详细信息 页签中,您可以查看创建的存储池信息。

相关操作

创建延伸类型集群

具体请参考 创建延伸类型集群

清理分布式存储

具体请参考 清理分布式存储