安装

Alauda Build of Spark Operator 以 OLM Operator 的形式交付,并通过平台 OperatorHub 安装。

前提条件

  • ACP 版本:v4.0 或更高(已在 v4.3 / Kubernetes 1.34 上验证)。
  • 目标集群架构为 linux/amd64 或 linux/arm64(该 operator 提供多架构镜像)。
  • 目标集群上可用 Operator Lifecycle Manager (OLM)(由 ACP 提供)。

上传 Operator

从 Customer Portal / Marketplace 下载 Alauda Build of Spark Operator bundle(例如 spark-operator.ALL.xxxx.tgz),然后使用 violet 命令行工具将其发布到平台仓库:

violet push \
  --platform-address=<platform-access-address> \
  --platform-username=<platform-admin> \
  --platform-password=<platform-admin-password> \
  spark-operator.ALL.xxxx.tgz
INFO

该 operator bundle 会在 CSV 的 relatedImages 中记录其运行时镜像(operator 镜像和 Apache Spark 运行时镜像),因此 violet release 会将这些镜像重定位到平台镜像仓库。这使得该 operator 可以在air-gapped 集群上安装,而无需访问 docker.io。

安装 Operator

在 管理员 视图中:

  1. 单击 Marketplace / OperatorHub。
  2. 在控制台顶部,从 Cluster 下拉列表中选择目标集群。
  3. 搜索并选择 Alauda Build of Spark Operator,然后单击 Install。
  4. 保持 Channel 不变(stable)。
  5. 确认 Version 与你要安装的 release 匹配(例如 v2.5.1)。
  6. 保持 Installation Location 不变 — 默认命名空间为 spark-operator。
  7. 选择 Upgrade Strategy(生产环境推荐使用 Manual)。
  8. 单击 Install。

验证

确认 Alauda Build of Spark Operator 卡片显示为 Installed,然后在集群上验证:

# the CSV reports Succeeded
kubectl get csv -n spark-operator | grep spark-operator

# the operator (controller + webhook) pods are Running
kubectl get pods -n spark-operator

# the CRDs are registered
kubectl get crd | grep sparkoperator.k8s.io

该 operator 默认监视所有命名空间,因此你可以在任意命名空间中创建 SparkApplication 资源。

INFO

Succeeded 状态的 CSV 表示 operator controller 正在运行。只有在你创建 SparkApplication(或 ScheduledSparkApplication)之后,Spark workload 才会出现——请参见 运行 Spark Application。