创建标准类型集群

标准类型集群是 Ceph 存储最典型的部署方式。它将数据副本分布在不同主机的硬盘上,确保单个主机故障时,其他主机上的数据副本仍能保持服务可用性。

前提条件

准备软件包

  • 下载对应您平台架构的 Alauda Container Platform Storage Essentials 安装包。

  • 通过上传软件包机制上传 Alauda Container Platform Storage Essentials 安装包。

  • 下载对应您平台架构的 Alauda Build of Rook-Ceph 安装包。

  • 通过上传软件包机制上传 Alauda Build of Rook-Ceph 安装包。

准备基础设施

  • 存储集群至少需要 3 个节点。

  • 每个节点必须至少有 1 块空白硬盘或 1 个未格式化的硬盘分区可用。

  • 建议可用硬盘容量大于 50 G。

  • 如果您使用的是以 Containerd 作为运行时组件的附加 Kubernetes 集群,请确保集群所有节点的 /etc/systemd/system/containerd.service 文件中的 LimitNOFILE 参数值配置为 1048576,以保证分布式存储部署成功。配置说明请参考修改 Containerd 配置信息

    注意:从 v3.10.2 之前的版本升级到当前版本时,如果需要在自定义 Kubernetes 集群中部署以 Containerd 作为运行时组件的 Ceph 分布式存储,也必须将集群所有节点的 /etc/systemd/system/containerd.service 文件中的 LimitNOFILE 参数值设置为 1048576

注意事项

创建存储服务访问存储服务 仅支持选择一种方式。

操作步骤

部署 Alauda Container Platform Storage Essentials

  1. 登录,进入 Administrator 页面。

  2. 点击 Marketplace > OperatorHub,进入 OperatorHub 页面。

  3. 找到 Alauda Container Platform Storage Essentials,点击 Install,进入 Install Alauda Container Platform Storage Essentials 页面。

    配置参数:

    参数推荐配置
    Channel默认通道为 stable
    安装模式Cluster:集群内所有命名空间共享单个 Operator 实例进行创建和管理,资源占用较低。
    安装位置选择 Recommended,命名空间仅支持 acp-storage
    升级策略Manual:Operator Hub 有新版本时,需要手动确认升级 Operator 到最新版本。

部署 Operator

  1. 进入 Administrator

  2. 在左侧边栏点击 Storage Management > Distributed Storage

  3. 点击 Configure Now

  4. Deploy Operator 向导页面,点击右下角 Deploy Operator 按钮。

    • 页面自动跳转下一步表示 Operator 部署成功。

    • 若部署失败,请根据界面提示选择 Clean Up Deployed Information and Retry,重新部署 Operator;若需返回分布式存储选择页面,点击 Application Store,先卸载已部署的 rook-operator 资源,再卸载 rook-operator

创建集群

  1. Create Cluster 向导页面,配置相关参数,点击右下角 Create Cluster 按钮。

    参数说明
    Cluster Type选择 Standard
    Device Class Type设备类是硬盘的分组;可根据存储需求自定义设备类,将不同性能的硬盘分配存储不同内容。
    • 默认设备类:平台自动对集群节点中的硬盘类型进行分类,如创建名为 hddssdnvme 的设备类。
    • 自定义设备类:自定义节点中特定组合硬盘的设备类名称,支持添加多个设备类。同一块硬盘只能属于一个设备类。
    Device Class - Name设备类名称。选择 自定义设备类 时,设备类名称不能使用以下名称:hddssdnvme
    Device Class - Storage Devices选择节点上的 空白硬盘未格式化硬盘分区
    • “开启全部空白设备”开关打开时:节点下所有空白设备将加入设备类;
    • 开关关闭时:手动输入节点下空白设备名称,如 sda
    Snapshot启用后支持创建 PVC 快照,并使用快照配置新 PVC,实现业务数据快速备份与恢复。
    创建存储时未启用快照,也可在存储集群详情页的 操作 中按需启用。
    注意:使用前请确保已为当前集群部署卷快照插件
    Monitoring Alarm启用后提供开箱即用的监控指标采集和告警能力,详见监控与告警
    注意:若此时未启用,需自行寻找存储监控和告警方案,如在运维中心手动配置监控面板和告警策略。
  2. 点击 高级配置 进行组件高级配置。

    参数说明
    网络配置
    • 主机网络:存储集群使用主机网络,需在优化参数栏填写相关网络优化参数,如配置 publiccluster 子网。留空时使用默认主机子网。
      注意:使用主机网络可能因通过主机端口明文传输数据存在安全风险,请联系平台支持团队获取加密传输方案。
    • 容器网络:存储集群使用容器网络;可在网络管理中创建子网并分配给 rook-ceph 命名空间。留空时使用默认子网。
      注意
      不支持 IPv6。
      使用容器网络时,存储仅集群内可访问。
      Ceph CSI Pod 故障或重启可能导致服务中断。
    优化参数支持填写 Ceph 配置文件格式参数,系统将根据填写内容覆盖默认参数。
    注意:首次填写或修改初始化参数后,请点击初始化参数,需初始化成功后方可创建集群。
    组件定点部署可将组件部署到指定节点,至少需三个节点以保证最低可用性。支持定点部署配置的组件包括 MON、MGR、MDS、RGW。
    • 页面自动跳转下一步表示 Ceph 集群部署成功。

    • 创建失败时,可点击清理 已创建信息或重试,自动清理资源并重新创建集群,或根据文档分布式存储服务资源清理手动清理资源。

创建存储池

  1. Create Storage Pool 向导页面,配置相关参数,点击右下角 Create Storage Pool 按钮。

    参数说明
    存储类型
    • 文件存储:提供安全、可靠、可扩展的共享文件存储服务,适用于文件共享、数据备份等。
    • 块存储:提供高 IOPS 和低延迟存储服务,适用于数据库、虚拟化等。
    • 对象存储:提供标准 S3 接口存储服务,适用于大数据、备份归档、云存储等。
    副本数副本数越多,冗余度和数据安全性越高,但存储利用率降低。通常设置为 3,满足大多数需求。
    设备类对同类型设备或同一业务逻辑的磁盘进行统一分类,从上一步添加的设备类中选择。
    • 选择设备类后,数据将存储在所选设备类中。
    • 未选择设备类时,数据将在存储池所有设备中随机存储。

    对象存储还需配置以下参数:

    参数说明
    Region指定存储池所在的地域。
    Gateway Type默认是 S3,且不可修改。
    Internal Port指定集群内访问端口。
    External Access启用/禁用外部访问将创建/销毁 NodePort 类型服务。
    Instance Count对象存储资源实例数量。
    • 页面自动跳转下一步表示存储池部署成功。

    • 部署失败时,请根据界面提示检查核心组件,然后点击 清理已创建信息并重试 重新创建存储池。

  2. 点击 Create Storage Pool,在 详情 标签页查看已创建存储池信息。

相关操作

创建 Stretch 类型集群

详情请参见 创建 Stretch 类型集群

清理分布式存储

详情请参见 清理分布式存储