安装 Data Science Pipelines
Data Science Pipelines Operator 作为 OLM Operator 提供,并从平台 OperatorHub 安装。
前提条件
-
ACP 版本:v4.0 或更高版本(已在 v4.3 / Kubernetes 1.34 上验证)。
-
目标集群架构为
linux/amd64(operator 及其镜像也提供linux/arm64)。 -
目标集群上可用 Operator Lifecycle Manager (OLM)(由 ACP 提供)。
-
目标集群上不得存在共享的 Kubeflow Pipelines 安装(
kfp-operator)——DSPO 与其互斥(请参见 简介)。 -
Argo Workflow CRD。 每个 DSPA 都运行一个 Argo Workflow controller 和 KFP v2 driver/launcher,它们需要
workflows.argoproj.ioCRD。DSPO 不会在其 bundle 中提供这些 CRD(以避免在已运行 Argo 的集群上出现 OLM CRD 所有权冲突)。请在集群安装阶段从 operator 源码树中一次性安装它们:如果集群中已经存在
workflows.argoproj.io(例如通过现有的 Argo 安装),则跳过此步骤。 -
Alauda ServiceMesh v2 (Istio)——仅当你计划通过 Istio
VirtualService(EXTERNAL_ROUTE_PROVIDER=virtualservice)公开 DSPA APIServer 时才需要。virtualservices.networking.istio.io必须处于 Established 状态。
上架 Operator 包
从 Customer Portal / Marketplace 下载 Data Science Pipelines Operator bundle,然后按照 上架软件包 上传该 package。
operator bundle 会将所有运行时镜像(operator、KFP APIServer / driver / launcher / persistence-agent / scheduled-workflow、Argo workflow-controller 和 argoexec、MLMD、MariaDB,以及 pipeline runtime image)记录在 CSV 的 relatedImages 中,因此 violet release 会将它们重定位到平台 registry。这使得 operator 能够在 air-gapped 集群上安装,而无需访问 quay.io / docker.io。
安装 Operator
在 管理员 视图中:
- 点击 Marketplace / OperatorHub。
- 在控制台顶部,从 Cluster 下拉菜单中选择目标集群。
- 搜索并选择 Data Science Pipelines Operator,然后点击 Install。
- 保持 Channel 不变(
stable)。 - 检查 Version 是否与要安装的版本一致,例如
v2.15.1。 - 保持 Installation Location 不变——默认是
data-science-pipelines-operatornamespace。 - 选择 Upgrade Strategy(生产环境推荐使用
Manual)。 - 点击 Install。
外部端点提供程序(可选)
operator 会根据 Subscription 的 spec.config.env 中配置的 EXTERNAL_ROUTE_PROVIDER 设置,为每个 DSPA 暴露其 APIServer:
none(默认)——operator 不创建外部端点。APIServer 仅可在集群内访问(ds-pipeline-<name>.<namespace>.svc:8888)。当 ingress 由其他方式处理时使用此选项。virtualservice——operator 为每个 DSPA 创建一个 IstioVirtualService,并绑定到共享的 Istio Gateway(默认kubeflow/kubeflow-gateway),将/pipelines/<namespace>/<name>/...路由到 DSPA 的 APIServer 和 MLMD 服务。需要 ServiceMesh v2(请参见前提条件)。
要使用 virtualservice 提供程序,请在创建 Subscription 时设置该 env(或在之后进行编辑):
验证
确认 Data Science Pipelines Operator 磁贴显示为 Installed,然后在集群上进行验证:
默认情况下,operator 会监视 所有 namespaces,因此你可以在任何 project namespace 中创建 DataSciencePipelinesApplication resources。
Succeeded CSV 表示 operator controller 正在运行。只有在你创建 DataSciencePipelinesApplication 之后,KFP pipeline stack 才会出现——请参见 创建 Data Science Pipelines Application。