创建 Data Science Pipelines Application
本指南介绍如何创建 DataSciencePipelinesApplication(DSPA)——即命名空间中的一个独立 Kubeflow Pipelines v2 栈——然后使用 kfp Python SDK 访问它。
你可以通过两种方式创建 DSPA:
kubectl—— 应用DataSciencePipelinesApplication清单。- Alauda Console UI —— 依次进入 Administrator → Marketplace → OperatorHub → Data Science Pipelines Operator → All instances → Create。
这两种方式创建的是同一个资源;请选择最适合你工作流程的方式。
目录
前提条件1. 选择数据库和对象存储2. 创建 DSPA方式 A —— 使用kubectl方式 B —— 使用 Alauda Console UI3. 验证 DSPA 已就绪4. 使用 pipeline 栈(KFP v2 SDK)清理前提条件
- Data Science Pipelines Operator 已安装,并且其 CSV 报告为
Succeeded—— 参见 Installation。 - 拥有目标集群的
kubectl访问权限(用于 CLI 方式以及验证)。 - 为 pipeline 栈准备一个目标项目 namespace(本指南使用
data-science-project)。
1. 选择数据库和对象存储
每个 DSPA 都需要一个数据库(pipeline 元数据)以及一个兼容 S3 的对象存储(pipeline artifacts)。你有两个选项:
-
托管(最简单) —— 让 operator 在 DSPA namespace 内为你部署 MariaDB 和 MinIO。适合快速开始或自包含项目。
WARNING托管的 MariaDB 和 MinIO 仅适用于开发和测试(它们是单实例,没有备份或 HA)。生产环境请使用外部后端。
-
外部 —— 将 DSPA 指向你自己的 MySQL 和兼容 S3 的存储。推荐用于生产环境(你可以自行控制备份、HA 和容量规划)。
对于外部部署,请先创建凭证 secret:
2. 创建 DSPA
方式 A —— 使用 kubectl
托管后端(快速开始): operator 会部署 MariaDB + MinIO。
外部后端(生产环境): 指向你自己的 MySQL 和 S3。
保存为 dspa.yaml 并应用:
方式 B —— 使用 Alauda Console UI
- 在 Administrator 视图中,进入 Marketplace → OperatorHub。
- 在顶部的 Cluster 下拉框中,选择目标集群。
- 打开已安装的 Data Science Pipelines Operator。
- 切换到 All instances 选项卡,然后点击 Create(如有提示,选择 DataSciencePipelinesApplication)。
- 填写表单,或者切换到 YAML 视图并粘贴方式 A 中的任一清单。将 Namespace 设置为你的项目 namespace(例如
data-science-project)。 - 点击 Create。
此时该实例会显示在 All instances 下;其状态会反映 DSPA 的就绪情况(见下一步)。
3. 验证 DSPA 已就绪
你应该能看到 Ready=True,并且 ds-pipeline-* pods(APIServer、persistence agent、scheduled-workflow、workflow controller、MLMD)处于 Running。
4. 使用 pipeline 栈(KFP v2 SDK)
DSPA 的 APIServer 在集群内可通过 http://ds-pipeline-<name>.<namespace>.svc:8888 访问——此处为 http://ds-pipeline-sample.data-science-project.svc:8888。使用 kfp Python SDK 编译并上传一个 pipeline(可从 pod 中,或从可以访问该 Service 的机器上执行):
如果你在安装 operator 时设置了 EXTERNAL_ROUTE_PROVIDER=virtualservice,那么 DSPA 的 status.components.apiServer.externalUrl 也会提供通过共享 Istio gateway 访问的外部路径。
清理
删除 DSPA 会移除它创建的 pipeline 栈。对于托管后端,托管的 MariaDB/MinIO(以及其中的数据)也会一并删除;外部后端则不会受影响。