介绍
Alauda Build of Spark Operator 是一个 Kubernetes 原生的 operator,用于在 Kubernetes 上运行和管理 Apache Spark 原生应用。它基于开源的 Kubeflow Spark Operator 构建,让你无需运行 spark-submit 客户端或自行维护独立的 Spark 集群,即可通过 Kubernetes Custom Resource Definitions(CRDs)以声明式方式提交、调度、监控和清理 Spark 工作负载。
概览
该 operator 提供以下 CRD(API group sparkoperator.k8s.io):
- SparkApplication:定义单个 Spark 原生应用(一个 driver 及其 executors)。operator 会以 cluster mode 提交该应用,跟踪其生命周期直至完成,并回收其资源。
- ScheduledSparkApplication:按照 cron 计划运行
SparkApplication,并支持并发和运行历史控制。 - SparkConnect:管理一个长期运行的 Spark Connect server,用于交互式 / 远程 Spark 会话。
主要特性
- 声明式提交:将 Spark 作业作为 Kubernetes 资源提交;operator 会为你在 cluster mode 下执行
spark-submit。 - 生命周期管理:跟踪 driver/executor 状态,暴露
applicationState,遵循已配置的重启策略,并清理已完成的原生应用。 - 调度:通过
ScheduledSparkApplication实现基于 cron 的周期性作业。 - Admission webhook:对 Spark 资源进行变更和校验(volumes、affinity、security context 等)。
- 批调度器集成:可选地通过 Volcano 或 Yunikorn 实现 gang scheduling。
- Metrics:为原生应用、executors 和提交延迟暴露 Prometheus metrics。
使用场景
- 批量数据处理:在 Kubernetes 上运行 ETL 和分析作业。
- 定时流水线:无需外部调度器即可运行周期性的 Spark 作业。
- 分布式数据准备 / ML:大规模特征工程和训练数据准备。
- 交互式 Spark:通过 Spark Connect 使用远程 Spark 会话。
此版本打包了 Apache Spark 4.0.1。有关 Spark 概念和 Kubernetes 相关细节,请参见 Running Spark on Kubernetes。