安装

Data Science Pipelines Operator 以 OLM Operator 形式交付,并从平台 OperatorHub 安装。

前提条件

  • ACP version: v4.0 或更高版本(已在 v4.3 / Kubernetes 1.34 上验证)。

  • 目标集群架构为 linux/amd64(该 operator 及其镜像也提供 linux/arm64)。

  • 目标集群上可用 Operator Lifecycle Manager (OLM)(由 ACP 提供)。

  • 共享的 Kubeflow Pipelines install (kfp-operator) 必须不在目标集群中存在 — DSPO 与其互斥(请参见简介)。

  • Argo Workflow CRDs。 每个 DSPA 都会运行一个 Argo Workflow controller 以及 KFP v2 driver/launcher,它们需要 workflows.argoproj.io CRDs。DSPO 为避免在已运行 Argo 的集群上引发 OLM CRD 所有权冲突,不会在其 bundle 中提供这些 CRDs。请在集群安装时,从 operator 源码树中执行一次安装:

    kubectl apply -k config/argo

    如果集群中已经存在 workflows.argoproj.io(例如通过现有的 Argo install),则可以跳过此步骤。

  • Alauda ServiceMesh v2 (Istio) — 仅当您计划通过 Istio VirtualService(EXTERNAL_ROUTE_PROVIDER=virtualservice)公开 DSPA APIServer 时才需要。virtualservices.networking.istio.io 必须处于 Established 状态。

上传 Operator

从 customer portal / Marketplace 下载 Data Science Pipelines Operator bundle(例如 data-science-pipelines-operator.ALL.xxxx.tgz),然后使用 violet 命令行工具将其发布到平台仓库:

violet push \
  --platform-address=<platform-access-address> \
  --platform-username=<platform-admin> \
  --platform-password=<platform-admin-password> \
  data-science-pipelines-operator.ALL.xxxx.tgz
INFO

该 operator bundle 会在 CSV relatedImages 中记录每个运行时镜像(operator、KFP APIServer / driver / launcher / persistence-agent / scheduled-workflow、Argo workflow-controller 和 argoexec、MLMD、MariaDB,以及 pipeline runtime image),因此一次 violet release 就会将它们重新定位到平台镜像仓库。这使得该 operator 可以在air-gapped 集群上安装,而无需访问 quay.io / docker.io。

安装 Operator

在 管理员 视图中:

  1. 单击 Marketplace / OperatorHub。
  2. 在控制台顶部,从 Cluster 下拉列表中选择目标集群。
  3. 搜索并选择 Data Science Pipelines Operator,然后单击 Install。
  4. 保持 Channel 不变(stable)。
  5. 确认 Version 与您要安装的 release 匹配(例如 v2.15.1)。
  6. 保持 Installation Location 不变 — 默认是 data-science-pipelines-operator namespace。
  7. 选择一个 Upgrade Strategy(生产环境推荐 Manual)。
  8. 单击 Install。

外部端点提供程序(可选)

该 operator 会根据为 Subscription 的 spec.config.env 配置的 EXTERNAL_ROUTE_PROVIDER 设置,为每个 DSPA 公开其 APIServer:

  • none(默认)— operator 不创建外部端点。APIServer 只能在集群内访问(ds-pipeline-<name>.<namespace>.svc:8888)。当 ingress 由其他方式处理时,请使用此选项。
  • virtualservice — operator 会为每个 DSPA 创建一个 Istio VirtualService,并绑定到共享的 Istio Gateway(默认 kubeflow/kubeflow-gateway),将 /pipelines/<namespace>/<name>/... 路由到该 DSPA 的 APIServer 和 MLMD 服务。需要 ServiceMesh v2(请参见前提条件)。

若要使用 virtualservice 提供程序,请在创建 Subscription 时设置该 env(或之后进行编辑):

spec:
  config:
    env:
      - name: EXTERNAL_ROUTE_PROVIDER
        value: virtualservice
      - name: ISTIO_GATEWAY
        value: kubeflow/kubeflow-gateway
      - name: ISTIO_HOSTS
        value: "*"

验证

确认 Data Science Pipelines Operator 磁贴显示为 Installed,然后在集群上验证:

# the CSV reports Succeeded
kubectl get csv -n data-science-pipelines-operator | grep data-science-pipelines-operator

# the operator controller-manager pod is Running
kubectl get pods -n data-science-pipelines-operator

# the CRDs are registered
kubectl get crd | grep -E 'datasciencepipelinesapplications|pipelines.kubeflow.org|scheduledworkflows'

该 operator 默认监视所有 namespace,因此您可以在任何项目 namespace 中创建 DataSciencePipelinesApplication 资源。

INFO

Succeeded 的 CSV 表示 operator controller 正在运行。KFP pipeline stack 只有在您创建 DataSciencePipelinesApplication 后才会出现 — 请参见创建 Data Science Pipelines Application。