介绍

Alauda Build of Spark Operator 是一个 Kubernetes 原生的 operator,用于在 Kubernetes 上运行和管理 Apache Spark 原生应用。它基于开源的 Kubeflow Spark Operator 构建,让你无需运行 spark-submit 客户端或自行维护独立的 Spark 集群,即可通过 Kubernetes Custom Resource Definitions(CRDs)以声明式方式提交、调度、监控和清理 Spark 工作负载。

概览

该 operator 提供以下 CRD(API group sparkoperator.k8s.io):

  • SparkApplication:定义单个 Spark 原生应用(一个 driver 及其 executors)。operator 会以 cluster mode 提交该应用,跟踪其生命周期直至完成,并回收其资源。
  • ScheduledSparkApplication:按照 cron 计划运行 SparkApplication,并支持并发和运行历史控制。
  • SparkConnect:管理一个长期运行的 Spark Connect server,用于交互式 / 远程 Spark 会话。

主要特性

  • 声明式提交:将 Spark 作业作为 Kubernetes 资源提交;operator 会为你在 cluster mode 下执行 spark-submit。
  • 生命周期管理:跟踪 driver/executor 状态,暴露 applicationState,遵循已配置的重启策略,并清理已完成的原生应用。
  • 调度:通过 ScheduledSparkApplication 实现基于 cron 的周期性作业。
  • Admission webhook:对 Spark 资源进行变更和校验(volumes、affinity、security context 等)。
  • 批调度器集成:可选地通过 Volcano 或 Yunikorn 实现 gang scheduling。
  • Metrics:为原生应用、executors 和提交延迟暴露 Prometheus metrics。

使用场景

  • 批量数据处理:在 Kubernetes 上运行 ETL 和分析作业。
  • 定时流水线:无需外部调度器即可运行周期性的 Spark 作业。
  • 分布式数据准备 / ML:大规模特征工程和训练数据准备。
  • 交互式 Spark:通过 Spark Connect 使用远程 Spark 会话。

此版本打包了 Apache Spark 4.0.1。有关 Spark 概念和 Kubernetes 相关细节,请参见 Running Spark on Kubernetes。