数据科学流水线 operator
数据科学流水线 operator(DSPO)是一个 Kubernetes 原生 operator,可在 Alauda AI Platform 上部署和管理 Kubeflow Pipelines (KFP) v2 堆栈。它基于开源的 OpenDataHub Data Science Pipelines Operator 构建,使每个数据科学项目都能运行自己的隔离流水线运行时,并通过单个 DataSciencePipelinesApplication(DSPA)Custom Resource 进行声明——无需争用共享的集群范围流水线服务。
它部署的内容
当你在命名空间中创建 DataSciencePipelinesApplication 时,operator 会在该命名空间中协调一个自包含的 KFP v2 堆栈:
- APIServer — Kubeflow Pipelines API 服务器(用于编译、上传、运行和跟踪流水线;
kfpPython SDK 的目标)。 - Persistence Agent — 将运行状态从工作流引擎同步回 API 服务器和数据库。
- Scheduled Workflow controller — 驱动定期运行。
- Argo Workflow controller — 将流水线 DAG 作为 Argo
Workflows执行。 - ML Metadata (MLMD) — 存储流水线、运行和构件的谱系信息,并由 Envoy gRPC 代理提供前置服务。
- 数据库 + 对象存储 — 可以使用由 operator 部署的托管 MariaDB 和 MinIO,也可以使用你自己的外部 MySQL 和兼容 S3 的存储。
核心概念
与共享 Kubeflow Pipelines 安装互斥
DSPO 与由 Kubeflow plugin(kfp-operator)生成的共享、全局范围 Kubeflow Pipelines 安装互斥。如果集群中存在该共享安装,operator 将拒绝协调 DSPA(KUBEFLOW_PIPELINES_GLOBAL_CHECK=enforce)。每个集群只能选择一种模型:
- DSPO — 按命名空间划分、项目隔离的流水线堆栈(此 operator)。
- Kubeflow plugin
kfp-operator— 整个集群共享一个 Kubeflow Pipelines 实例。
何时使用
如果你希望每个项目或团队拥有独立的 Kubeflow Pipelines v2 运行时(包括各自的数据库、对象存储和访问边界),而不是共享一个集群范围的流水线服务,请使用 Data Science Pipelines Operator。