安装 Spark Operator

Alauda Build of Spark Operator 以 OLM Operator 形式交付,并从平台的 OperatorHub 安装。

前提条件

  • ACP version: v4.0 或更高版本(已在 v4.3 / Kubernetes 1.34 上验证)。
  • 目标集群架构为 linux/amd64 或 linux/arm64(该 operator 提供多架构镜像)。
  • 目标集群上可用 Operator Lifecycle Manager(OLM)(由 ACP 提供)。

上架 operator 软件包

从 customer portal / Marketplace 下载 Alauda Build of Spark Operator bundle,然后按照 上架软件包 上架软件包。

INFO

该 operator bundle 会在 CSV 的 relatedImages 中记录其运行时镜像(operator 镜像和 Apache Spark 运行时镜像),因此 violet 版本会将这些镜像重新定位到平台 registry。这样一来,即使是 air-gapped 集群,也无需访问 docker.io 即可安装 operator。

安装 operator

在 管理员 视图中:

  1. 单击 Marketplace / OperatorHub。
  2. 在控制台顶部,从 Cluster 下拉列表中选择目标集群。
  3. 搜索并选择 Alauda Build of Spark Operator,然后单击 Install。
  4. 保持 Channel 不变(stable)。
  5. 确认 Version 与要安装的版本一致(例如 v2.5.1)。
  6. 保持 Installation Location 不变——默认是 spark-operator namespace。
  7. 选择 Upgrade Strategy(生产环境建议使用 Manual)。
  8. 单击 Install。

验证

确认 Alauda Build of Spark Operator 磁贴显示为 Installed,然后在集群上验证:

# the CSV reports Succeeded
kubectl get csv -n spark-operator | grep spark-operator

# the operator (controller + webhook) pods are Running
kubectl get pods -n spark-operator

# the CRDs are registered
kubectl get crd | grep sparkoperator.k8s.io

默认情况下,该 operator 会监视所有 namespace,因此你可以在任意 namespace 中创建 SparkApplication 资源。

INFO

Succeeded 状态的 CSV 表示 operator controller 正在运行。Spark workload 本身只有在你创建 SparkApplication(或 ScheduledSparkApplication)之后才会出现——请参阅 运行 Spark Application。