安装 Spark Operator

Alauda Build of Spark Operator 以 OLM Operator 的形式交付,并从平台 OperatorHub 安装。

前提条件

  • ACP 版本:v4.0 或更高版本(已在 v4.3 / Kubernetes 1.34 上验证)。
  • 目标集群架构为 linux/amd64linux/arm64(该 operator 提供多架构镜像)。
  • 目标集群上可用 Operator Lifecycle Manager (OLM)(由 ACP 提供)。

上传 Operator 软件包

Customer Portal / Marketplace 下载 Alauda Build of Spark Operator bundle,然后按照 上架软件包 上传软件包。

INFO

该 operator bundle 会在 CSV 的 relatedImages 中记录其运行时镜像(operator 镜像和 Apache Spark 运行时镜像),因此 violet 版本会将这些镜像迁移到平台镜像仓库中。这样一来,operator 即可在 air-gapped 集群上安装,而无需访问 docker.io

安装 Operator

管理员 视图中:

  1. 单击 Marketplace / OperatorHub
  2. 在控制台顶部,从 集群 下拉列表中选择目标集群。
  3. 搜索并选择 Alauda Build of Spark Operator,然后单击 Install
  4. 保持 Channel 不变(stable)。
  5. 检查 Version 是否与要安装的版本匹配(例如 v2.5.1)。
  6. 保持 Installation Location 不变——默认是 spark-operator 命名空间。
  7. 选择 Upgrade Strategy(生产环境建议使用 Manual)。
  8. 单击 Install

验证

确认 Alauda Build of Spark Operator 磁贴显示为 Installed,然后在集群上验证:

# the CSV reports Succeeded
kubectl get csv -n spark-operator | grep spark-operator

# the operator (controller + webhook) pods are Running
kubectl get pods -n spark-operator

# the CRDs are registered
kubectl get crd | grep sparkoperator.k8s.io

该 operator 默认监视所有命名空间,因此你可以在任意命名空间中创建 SparkApplication 资源。

INFO

Succeeded CSV 表示 operator 控制器正在运行。只有在你创建 SparkApplication(或 ScheduledSparkApplication)之后,Spark 工作负载才会出现——请参见 运行 Spark Application