配置用于分布式存储的专用集群

专用集群部署是指使用独立集群部署平台的分布式存储，平台中的其他业务集群通过集成访问和使用该集群提供的存储服务。
为确保平台分布式存储的性能和稳定性，专用存储集群中仅部署平台核心组件和分布式存储组件，避免与其他业务工作负载共置。这种分离式部署方式是平台分布式存储推荐的最佳实践。

架构

存储计算分离架构

基础设施要求

平台要求

3.18 及更高版本支持。

集群要求

建议使用裸金属集群作为专用存储集群。

资源要求

有关分布式存储部署所需的组件，请参阅核心概念。

每个组件都有不同的 CPU 和内存要求。建议配置如下：

进程	CPU	内存
MON	2c	3Gi
MGR	3c	4Gi
MDS	3c	8Gi
RGW	2c	4Gi
OSD	4c	8Gi

集群通常运行：

3 个 MON
2 个 MGR
多个 OSD
2 个 MDS（如果使用 CephFS）
2 个 RGW（如果使用 CephObjectStorage）

根据组件分布，适用以下每节点资源建议：

CPU	内存
16c + (4c * 每节点 OSD 数量)	20Gi + (8Gi * 每节点 OSD 数量)

存储设备要求

建议每个节点部署不超过 12 个存储设备。这有助于缩短节点故障后的恢复时间。

存储设备类型要求

建议使用企业级 SSD，且每个设备的容量不超过 10TiB，并确保所有磁盘的大小和类型均相同。

容量规划

部署前，必须根据具体业务要求规划存储容量。默认情况下，分布式存储系统采用 3 副本冗余策略。因此，可用容量的计算方式是将总原始存储容量（所有存储设备的容量总和）除以 3。

以 30(N) 个节点为例（副本数 = 3），可用容量情况如下：

存储设备大小(D)	每节点存储设备数(M)	总容量(DMN)	可用容量(DMN/3)
0.5 TiB	3	45 TiB	15 TiB
2 TiB	6	360 TiB	120 TiB
4 TiB	9	1080 TiB	360 TiB

容量监控和扩容

主动进行容量规划

始终确保可用存储容量大于使用量。如果存储空间完全耗尽，则需要手动干预才能恢复，无法仅通过删除或迁移数据解决。
容量告警

集群会在两个阈值处触发告警：
- 利用率达到 80%（“接近满载”）：主动释放空间或扩展集群。
- 利用率达到 95%（“已满”）：存储空间已完全耗尽，标准命令无法释放空间。请立即联系平台支持。
始终及时处理告警，并定期监控存储使用情况，以避免服务中断。
扩展建议
- 避免：向现有节点添加存储设备。
- 建议：通过添加新的存储节点进行横向扩展。
- 要求：新节点必须使用与现有节点大小、类型和数量均相同的存储设备。

网络要求

分布式存储必须使用 HostNetwork。

网络隔离

网络分为两种类型：

公共网络：用于客户端与存储组件之间的交互（例如 I/O 请求）。
集群网络：专用于副本之间的数据复制和数据再平衡（例如恢复）。

为确保服务质量和性能稳定性：

对于专用存储集群：
在每个主机上预留两个网络接口：
- 公共网络：用于客户端和组件通信。
- 集群网络：用于内部复制和再平衡流量。
对于业务集群：
在每个主机上预留一个网络接口，用于访问存储公共网络。

网络隔离配置示例

网络接口速度要求

存储节点
- 公共网络和集群网络要求使用 10GbE 或更高速率的网络接口。
业务集群节点
- 用于访问存储公共网络的网络接口必须为 10GbE 或更高速率。

操作步骤

部署 Operator

访问管理员。
在左侧边栏中，单击存储管理 > 分布式存储。
单击立即创建。
在部署 Operator向导页面中，单击右下角的部署 Operator按钮。
- 当页面自动进入下一步时，表示 Operator 已成功部署。
- 如果部署失败，请参照界面上的提示清理已部署信息并重试，然后重新部署 Operator；如果希望返回分布式存储选择页面，请单击原生应用商店，先卸载已部署的 rook-operator 中的资源，然后再卸载 rook-operator。

创建 ceph 集群

在存储集群的控制平面节点上执行命令。

单击查看

cat << EOF | kubectl create -f -
apiVersion: ceph.rook.io/v1
kind: CephCluster
metadata:
  name: ceph-cluster
  namespace: rook-ceph
spec:
  cephConfig:
    global:
      mon_memory_target: "3221225472"
      mds_cache_memory_limit: "8589934592"
      osd_memory_target: "8589934592"
      bluefs_buffered_io: "false"
    mon:
      auth_allow_insecure_global_id_reclaim: "true"
      mon_warn_on_insecure_global_id_reclaim: "false"
      mon_warn_on_insecure_global_id_reclaim_allowed: "false"
  cephVersion:
    image: build-harbor.alauda.cn/3rdparty/ceph/ceph:v18.2.4-0
  dashboard:
    enabled: true
  dataDirHostPath: /var/lib/rook
  disruptionManagement:
    managePodBudgets: true
  mgr:
    count: 2
    modules:
    - enabled: true
      name: pg_autoscaler
  mon:
    count: 3
  monitoring:
    enabled: true
  network:
    ipFamily: IPv4
    addressRanges:
      public:
      - <public network cidr>
      cluster:
      - <cluster network cidr>
    provider: host
  placement:
    all:
      tolerations:
      - key: "node-role.kubernetes.io/master"
        operator: "Exists"
        effect: "NoSchedule"
      - key: "node-role.kubernetes.io/control-plane"
        operator: "Exists"
        effect: "NoSchedule"
      - key: "node-role.kubernetes.io/cpaas-system"
        operator: "Exists"
        effect: "NoSchedule"
    mgr:
      podAffinity:
        podAntiAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
          - labelSelector:
              matchExpressions:
              - key: app
                operator: In
                values:
                - rook-ceph-mgr
              topologyKey: kubernetes.io/hostname
  priorityClassNames:
    all: system-node-critical
  resources:
    crashcollector:
      limits:
        cpu: 200m
        memory: 128Mi
      requests:
        cpu: 100m
        memory: 64Mi
    mgr:
      requests:
        cpu: "3"
        memory: 4Gi
    mon:
      requests:
        cpu: "2"
        memory: 3Gi
    osd:
      requests:
        cpu: "4"
        memory: 8Gi
  storage:
    <storage devices>
EOF

对于直接创建的内部 CephCluster，如果省略字段，平台默认将 spec.disruptionManagement.managePodBudgets 设置为 true。仅在选择退出由 Rook 管理的 PDB 保护时，才将其显式设置为 false。平台不会设置 osdMaintenanceTimeout；将采用已安装的 Rook 版本的默认值。

参数：

公共网络 CIDR：存储公共网络的 CIDR（例如 - 10.0.1.0/24）。
集群网络 CIDR：存储集群网络的 CIDR（例如 - 10.0.2.0/24）。

存储设备：指定分布式存储要使用的存储设备。
格式示例：

  nodes:
  - name: storage-node-01
    devices:
    - name: /dev/disk/by-id/wwn-0x5000cca01dd27d60
    useAllDevices: false
  - name: storage-node-02
    devices:
    - name: sdb
    - name: sdc
    useAllDevices: false
  - name: storage-node-03
    devices:
    - name: sdb
    - name: sdc
    useAllDevices: false

提示

使用磁盘的 World Wide Name（WWN）进行稳定命名，避免依赖 sdb 等可能在重启后发生变化的不稳定设备路径。

创建存储池

提供三种存储池类型。请根据业务需求选择并创建适合的存储池。

创建文件存储池

在存储集群的控制平面节点上执行命令。

单击查看

cat << EOF | kubectl apply -f -
apiVersion: ceph.rook.io/v1
kind: CephFilesystem
metadata:
  name: cephfs
  namespace: rook-ceph
spec:
  metadataPool:
    failureDomain: host
    replicated:
      requireSafeReplicaSize: true
      size: 3
  dataPools:
  - failureDomain: host
    replicated:
      requireSafeReplicaSize: true
      size: 3
  preserveFilesystemOnDelete: false
  metadataServer:
    activeCount: 1
    activeStandby: true
    placement:
      podAntiAffinity:
        requiredDuringSchedulingIgnoredDuringExecution:
        - labelSelector:
            matchExpressions:
            - key: app
              operator: In
              values:
              - rook-ceph-mds
          topologyKey: kubernetes.io/hostname
      tolerations:
      - key: "node-role.kubernetes.io/master"
        operator: "Exists"
        effect: "NoSchedule"
      - key: "node-role.kubernetes.io/control-plane"
        operator: "Exists"
        effect: "NoSchedule"
      - key: "node-role.kubernetes.io/cpaas-system"
        operator: "Exists"
        effect: "NoSchedule"
    resources:
      requests:
        cpu: "3"
        memory: 8Gi
EOF

创建块存储池

在存储集群的控制平面节点上执行命令。

单击查看

cat << EOF | kubectl apply -f -
apiVersion: ceph.rook.io/v1
kind: CephBlockPool
metadata:
  name: block
  namespace: rook-ceph
spec:
  failureDomain: host
  replicated:
    size: 3
EOF

创建对象存储池

在存储集群的控制平面节点上执行命令。

单击查看

cat << EOF | kubectl apply -f -
apiVersion: ceph.rook.io/v1
kind: CephObjectStore
metadata:
  name: object
  namespace: rook-ceph
spec:
  metadataPool:
    failureDomain: host
    replicated:
      requireSafeReplicaSize: true
      size: 3
  dataPool:
    failureDomain: host
    replicated:
      requireSafeReplicaSize: true
      size: 3
  preservePoolsOnDelete: false
  gateway:
    instances: 2
    placement:
      podAntiAffinity:
        requiredDuringSchedulingIgnoredDuringExecution:
        - labelSelector:
            matchExpressions:
            - key: app
              operator: In
              values:
              - rook-ceph-rgw
          topologyKey: kubernetes.io/hostname
      tolerations:
      - key: "node-role.kubernetes.io/master"
        operator: "Exists"
        effect: "NoSchedule"
      - key: "node-role.kubernetes.io/control-plane"
        operator: "Exists"
        effect: "NoSchedule"
      - key: "node-role.kubernetes.io/cpaas-system"
        operator: "Exists"
        effect: "NoSchedule"
    port: 7480
    resources:
      requests:
        cpu: "2"
        memory: 4Gi
EOF

后续操作

当其他集群需要使用分布式存储服务时，请参考以下指南。
以外部模式部署

#配置用于分布式存储的专用集群

#目录

#架构

#基础设施要求

#平台要求

#集群要求

#资源要求

#存储设备要求

#存储设备类型要求

#容量规划

#容量监控和扩容

#网络要求

#网络隔离

#网络接口速度要求

#操作步骤

#部署 Operator

#创建 ceph 集群

#创建存储池

#创建文件存储池

#创建块存储池

#创建对象存储池

#后续操作

配置用于分布式存储的专用集群

目录

架构

基础设施要求

平台要求

集群要求

资源要求

存储设备要求

存储设备类型要求

容量规划

容量监控和扩容

网络要求

网络隔离

网络接口速度要求

操作步骤

部署 Operator

创建 ceph 集群

创建存储池

创建文件存储池

创建块存储池

创建对象存储池

后续操作