为 Ceph RGW 创建 BucketClass

Ceph 对象存储可以通过 Container Object Storage Interface (COSI) 暴露给 Kubernetes 工作负载,提供高度可扩展和弹性的存储,适用于大数据分析、备份与恢复以及机器学习场景。用户在创建桶之前需要先创建一个 BucketClass

BucketClass 是一个模板资源,指定存储驱动、认证 Secret 以及应用于从该模板创建的每个桶的删除策略。

前提条件

需求说明
运行中的启用 RGW (S3) 的 Ceph 集群内部(Rook 管理)或外部集群均可。
Alauda Container Platform COSI 插件必须同时安装 Alauda Container Platform COSIAlauda Container Platform COSI for Ceph
包含 Ceph RGW 凭证的 Kubernetes Secret在下面的 步骤 3 中准备。

步骤 1 – 准备 Ceph 集群

选择以下 一种 方式:

选项说明
内部 Ceph由 Rook Operator 在平台内部部署和管理的 Ceph 集群。详情请参见 创建存储服务
外部 Ceph可从平台网络访问的独立 Ceph 集群。

步骤 2 – 安装 COSI 插件

安装以下集群插件:

  1. Alauda Container Platform COSI
  2. Alauda Container Platform COSI for Ceph

具体命令请参考 安装

步骤 3 – 准备凭证 Secret

COSI 从 Kubernetes Secret 中获取 RGW 凭证。根据您的 Ceph 部署选择 一种 方法。

方法 A – 自动生成(Rook 管理的 Ceph)

  1. rook-ceph 命名空间中创建一个 CephObjectStoreUser

    # ceph-object-store-user.yaml
    apiVersion: ceph.rook.io/v1
    kind: CephObjectStoreUser
    metadata:
      name: user-for-cosi
      namespace: rook-ceph
    spec:
      store: object-store               # 您的 CephObjectStore 名称
      capabilities:
        bucket: ["read", "write"]
        user:   ["read", "write"]
  2. 应用该清单:

    kubectl apply -f ceph-object-store-user.yaml
  3. 获取自动生成的 Secret 名称(后续使用):

    kubectl get cephobjectstoreuser user-for-cosi -n rook-ceph \
      -o jsonpath='{.status.info.secretName}'

方法 B – 手动(外部 Ceph)

  1. 获取 AccessKeySecretKeyRGW Endpoint

  2. 在目标项目/命名空间中创建 Secret,并添加标签以便 UI 发现:

    kubectl create secret generic ceph-external-creds -n <YOUR_NAMESPACE> \
      --from-literal=AccessKey=<YOUR_ACCESS_KEY> \
      --from-literal=SecretKey=<YOUR_SECRET_KEY> \
      --from-literal=Endpoint=http://<YOUR_RGW_ENDPOINT>
    
    kubectl label secret ceph-external-creds -n <YOUR_NAMESPACE> app=rook-ceph-rgw

    重要: 标签 app=rook-ceph-rgw 是平台 UI 列出该 Secret 的必要条件。

步骤 4 – 创建 BucketClass

选项 1 – UI 操作流程

  1. 进入 Storage → Object StorageClass,点击 Create Object StorageClass

  2. 选择驱动为 Ceph Object Storage

  3. 配置以下字段:

    • Deletion Policy – 当 BucketClaim 被删除时底层桶的处理方式(默认:Delete)。
    • Secret – 选择在 步骤 3 中准备的 Secret(仅显示带有 app=rook-ceph-rgw 标签的 Secret)。
    • Allocate Projects(可选) 限制使用的特定项目。
  4. 点击 Create

选项 2 – YAML(GitOps 友好)

创建 ceph-bucketclass.yaml,正确引用 Secret:

apiVersion: objectstorage.k8s.io/v1alpha1
kind: BucketClass
metadata:
  name: ceph-cosi-driver
  labels:
    project.cpaas.io/ALL_ALL: "true"
driverName: ceph.objectstorage.k8s.io
deletionPolicy: Delete
parameters:
  objectStoreUserSecretName: <your-secret-name>
  objectStoreUserSecretNamespace: <your-secret-namespace>

应用清单:

kubectl apply -f ceph-bucketclass.yaml

验证与后续步骤

验证 BucketClass:

kubectl get bucketclass

当 BucketClass 准备好后,您可以创建引用它的 BucketBucketClaim 资源,从而为您的应用程序提供兼容 S3 的对象存储。