安装 Kubeflow Operators

本页面介绍如何在 Alauda AI 2.3 及更高版本中部署与 Kubeflow 相关的 operator。

从 v26.3.0(Alauda AI v2.3)开始,Kubeflow 以 OLM Helm Operators 的形式提供,不再采用早期的集群插件形式。安装过程通过 ACP OperatorHub 而不是 集群插件 执行。这些 operator 封装了上游的 kubeflow/manifests 26.03 charts。

支持的 operator:

  • kfbase-operator:Kubeflow 基础组件,包括身份验证和授权、中央监控面板、Notebooks、PVC Viewer、TensorBoards、Volumes、Model Registry UI、KServe Endpoints UI 以及 Model Catalog API 服务。负责管理 KubeflowBase CR。架构:amd64、arm64。
  • kfp-operator:Kubeflow Pipelines(KFP runtime 2.16.0)。负责管理 KubeflowPipelines CR。架构仅支持 amd64(根据 Alauda AI v2.3 支持的配置,Kubeflow Pipelines 仅支持 x86_64)。
  • kubeflow-trainer-operator:Kubeflow Trainer v2(controller-manager 2.1.0 + JobSet 0.10.1)。负责管理 KubeflowTrainer CR。架构:amd64、arm64。替代已弃用的 kftraining 插件。
  • model-registry-operator:Kubeflow Model Registry Operator(形式不变)。

注意:kftraining 集群插件(Kubeflow Training Operator v1)已在早期版本中弃用,并于 v26.3.0 中停用。请改用 kubeflow-trainer-operator(Trainer v2)。

环境准备

开始之前,请确保满足以下先决条件:

  1. ACP 环境可用且正在运行。
  2. Alauda AI Platform 已部署。对于 v26.3.0 operator 集合,需要 Alauda AI 2.3 或更高版本。
  3. Alauda AI Platform Inference Management 已安装。
  4. ASM 已部署在 Kubeflow 将要运行的业务集群中。如果尚未安装 ASM,请先部署,然后再继续。ASM v1 已弃用。请尽可能使用 ASM v2。
  5. LeaderWorkerSet 已安装并就绪。LWS 通常由 Alauda AI Platform 通过 lws default 中的 AmlCluster 组件进行管理;请参阅 安装 Alauda AI Platform。仅当计划部署 kubeflow-trainer-operator 时才需要它。
  6. oauth2-proxy 插件已按照下述说明进行配置。

配置 Dex 重定向

注意:请在安装 kfbase-operator 并创建其 KubeflowBase CR 之前,配置用于 Dex 重定向的平台访问 URL。此步骤可能会更新平台 CA 证书。如果在配置 oauth2-proxy 后证书发生变化,oauth2-proxy 配置可能会失败。

在 管理员 > 系统设置 > 平台参数 中,单击 平台访问 URL 旁边的 编辑,并按照 https://<your-kubeflow-domain> 格式添加重定向 URL,例如 https://kubeflow.example.com。

  • <your-kubeflow-domain> 必须与 KubeflowBase CR 中的 spec.global.kubeflowHost 匹配。

配置 oauth2-proxy 插件

获取平台 Dex CA 证书,稍后在 Global 集群中使用:

crt=$(kubectl get secret -n cpaas-system dex.tls -o jsonpath='{.data.tls\.crt}')
echo -n $crt | base64 -d

配置 ASM v1(已弃用)

在 Global 集群中,或在 ACP 平台管理 > 资源管理 中,更新 ServiceMesh 资源,并在 spec 下添加以下内容。

注意:如果已配置 spec.values.pilot.jwksResolverExtraRootCA,则仅更新 spec.meshConfig.extensionProviders。添加新条目时请勿删除现有条目。

spec:
  overlays:
    - kind: IstioOperator
      patches:
        - path: spec.values.pilot.env.PILOT_JWT_PUB_KEY_REFRESH_INTERVAL
          value: 1m
        - path: spec.values.pilot.jwksResolverExtraRootCA
          value: |
            -----BEGIN CERTIFICATE-----
            <YOUR_DEX_CA_CERTIFICATE_BASE64_HERE>
            -----END CERTIFICATE-----
        - path: spec.meshConfig.extensionProviders
          value:
            - envoyExtAuthzHttp:
                headersToDownstreamOnDeny:
                  - content-type
                  - set-cookie
                headersToUpstreamOnAllow:
                  - authorization
                  - path
                  - x-auth-request-user
                  - x-auth-request-email
                  - x-auth-request-access-token
                includeAdditionalHeadersInCheck:
                  X-Auth-Request-Redirect: http://%REQ(Host)%%REQ(:PATH)%
                includeRequestHeadersInCheck:
                  - authorization
                  - cookie
                  - accept
                port: 80
                service: oauth2-proxy.kubeflow-oauth2-proxy.svc.cluster.local
              name: oauth2-proxy-kubeflow

配置 ASM v2

注意:如果仍存在任何 ASM v1 webhook,请先将其删除。否则 Kubeflow 身份验证可能会失败。

kubectl delete validatingwebhookconfigurations istiod-default-validator
kubectl delete mutatingwebhookconfigurations istio-sidecar-injector-1-22
kubectl delete mutatingwebhookconfigurations istio-revision-tag-default

在 ACP 中,转到 管理员 > MarketPlace > OperatorHub,找到 Alauda Service Mesh v2,打开 所有实例 选项卡,找到类型为 Istio 的实例,例如 default,单击 更新,并在 spec 下添加以下内容:

spec:
  values:
    pilot:
      env:
        PILOT_JWT_PUB_KEY_REFRESH_INTERVAL: 1m
      jwksResolverExtraRootCA: |
        -----BEGIN CERTIFICATE-----
        <YOUR_DEX_CA_CERTIFICATE_BASE64_HERE>
        -----END CERTIFICATE-----
    meshConfig:
      extensionProviders:
        - envoyExtAuthzHttp:
            headersToDownstreamOnDeny:
              - content-type
              - set-cookie
            headersToUpstreamOnAllow:
              - authorization
              - path
              - x-auth-request-user
              - x-auth-request-email
              - x-auth-request-access-token
            includeAdditionalHeadersInCheck:
              X-Auth-Request-Redirect: http://%REQ(Host)%%REQ(:PATH)%
            includeRequestHeadersInCheck:
              - authorization
              - cookie
              - accept
            port: 80
            service: oauth2-proxy.kubeflow-oauth2-proxy.svc.cluster.local
          name: oauth2-proxy-kubeflow

组件上架

下载以下 operator 的软件包,然后按照上架软件包中的说明上传。软件包会在 ACP OperatorHub 中注册这些 operator。

  • kfbase-operator:Kubeflow 基础功能(拥有 KubeflowBase CR)。
  • kfp-operator:Kubeflow Pipelines(拥有 KubeflowPipelines CR)。仅支持 amd64。
  • kubeflow-trainer-operator:Kubeflow Trainer v2(拥有 KubeflowTrainer CR)。替代已弃用的 kftraining。
  • model-registry-operator:Kubeflow Model Registry Operator。

部署步骤

1. 部署 kfbase-operator(Kubeflow Base)

在管理员 > MarketPlace > OperatorHub 中找到 kfbase-operator,然后单击安装。接着打开所有实例选项卡,创建一个 KubeflowBase CR,并将 spec.global.kubeflowHost 设置为您的 Kubeflow 域名。等待部署完成。

部署后:

  • 在管理员 > 系统设置 > 平台参数中,确认平台访问 URL包含格式为 https://<your-kubeflow-domain> 的地址,其中 <your-kubeflow-domain> 与 KubeflowBase CR 中的 spec.global.kubeflowHost 相匹配。
  • 配置 DNS 解析,或添加本地主机条目,使 <your-kubeflow-domain> 解析到分配给 kubectl -n istio-system get gateway kubeflow-external-gateway 的 IP 地址。

部署后,Kubeflow 条目会显示在 Alauda AI Platform 的工具下。

有关升级特定操作,请参阅升级 Kubeflow Operators。

2. 创建 Kubeflow 用户命名空间并绑定用户

用户首次登录 Kubeflow 前,必须将 ACP 用户绑定到命名空间。以下示例创建命名空间 kubeflow-admin-cpaas-io,并将 admin@cpaas.io 指定为所有者。

注意:如果此 Profile 资源已在部署 Alauda AI Platform 期间创建,则可以跳过此步骤。

注意:创建 Notebook 实例和类似工作负载前,可能需要降低用户命名空间的 Pod Security Admission 级别。

apiVersion: kubeflow.org/v1beta1
kind: Profile
metadata:
  name: kubeflow-admin-cpaas-io
spec:
  owner:
    kind: User
    name: "admin@cpaas.io"

3. 将用户绑定到现有命名空间

如果 Alauda AI Platform 已部署,且命名空间 kubeflow-admin-cpaas-io 已存在,则 Profile 可能也已存在。如果该命名空间仍未显示在 Kubeflow 中,请创建以下资源,将账户绑定到该命名空间:

apiVersion: v1
kind: ServiceAccount
metadata:
  name: default-editor
  namespace: kubeflow-admin-cpaas-io
---
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: default-editor
  namespace: kubeflow-admin-cpaas-io
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: kubeflow-edit
subjects:
  - kind: ServiceAccount
    name: default-editor
    namespace: kubeflow-admin-cpaas-io
---
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: user-admin-cpaas-io-clusterrole-admin
  namespace: kubeflow-admin-cpaas-io
  annotations:
    role: admin
    user: "admin@cpaas.io"
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: kubeflow-admin
subjects:
  - apiGroup: rbac.authorization.k8s.io
    kind: User
    name: "admin@cpaas.io"
---
apiVersion: security.istio.io/v1beta1
kind: AuthorizationPolicy
metadata:
  name: user-admin-cpaas-io-clusterrole-admin
  namespace: kubeflow-admin-cpaas-io
  annotations:
    role: admin
    user: "admin@cpaas.io"
spec:
  rules:
    - from:
        - source:
            ## for more information see the KFAM code:
            ## https://github.com/kubeflow/kubeflow/blob/v1.8.0/components/access-management/kfam/bindings.go#L79-L110
            principals:
              ## required for Kubeflow notebooks
              ## TEMPLATE: "cluster.local/ns/<ISTIO_GATEWAY_NAMESPACE>/sa/<ISTIO_GATEWAY_SERVICE_ACCOUNT>"
              - "cluster.local/ns/istio-system/sa/istio-ingressgateway-service-account"

              ## required for Kubeflow pipelines
              ## TEMPLATE: "cluster.local/ns/<KUBEFLOW_NAMESPACE>/sa/<KFP_UI_SERVICE_ACCOUNT>"
              - "cluster.local/ns/kubeflow/sa/ml-pipeline-ui"
      when:
        - key: request.headers[kubeflow-userid]
          values:
            - "admin@cpaas.io"

4. 部署 kfp-operator(Kubeflow Pipelines)

在管理员 > MarketPlace > OperatorHub 中找到 kfp-operator,然后单击安装。接着在 operator 实例命名空间中创建一个 KubeflowPipelines CR。CR 完成调谐后,KFP 运行时组件会被部署,Kubeflow UI 中将提供与 pipeline 相关的功能。

注意:kfp-operator 仅支持 amd64。请勿在仅支持 arm64 的集群上安装。

注意:只有在 KubeflowPipelines 完成调谐后,Kubeflow UI 中才会提供与 pipeline 相关的功能。

5. 部署 Kubeflow Model Registry

在管理员 > MarketPlace > OperatorHub 中找到 Model Registry Operator,然后单击安装。

operator 安装完成后,打开所有实例选项卡,并在用户的命名空间中创建一个 ModelRegistry 实例。

注意:请在已绑定到 Kubeflow Profile 的命名空间中创建该实例。否则不会显示 Model Registry UI。

创建实例时,根据需要配置以下字段:

  • 名称:Model Registry 实例的名称。
  • 命名空间:实例运行所在的命名空间。此命名空间必须已绑定到 Kubeflow Profile。
  • MySQL 存储类:用于存储 Model Registry 元数据的存储类,例如 standard。
  • MySQL 存储大小:元数据数据库的存储大小。默认值为 10Gi。
  • DisplayName:Model Registry 实例的显示名称。
  • Description:实例的简短描述。

注意:实例启动后,刷新 Kubeflow 左侧导航中的 Model Registry 条目,即可查看新实例。创建第一个实例前,Model Registry 页面为空。

注意:Model Registry 实例会限制来自其他命名空间的网络请求。若要允许其他命名空间,请编辑该实例的 authorizationpolicy,例如 kubectl -n <your-namespace> edit authorizationpolicy <model-registry-name>,并根据 Istio 文档更新策略。

注意:您可以在不同命名空间中部署多个 Model Registry 实例。每个实例彼此独立。

6. 部署 kubeflow-trainer-operator(Kubeflow Trainer v2)

注意:如果仍安装了已弃用的 kftraining 集群插件(来自 v26.3.0 之前的集群),请在安装 kubeflow-trainer-operator 前将其卸载。

注意:LeaderWorkerSet 是 kubeflow-trainer-operator 的依赖项。部署 kubeflow-trainer-operator 前,请通过 default AmlCluster 中的 lws 组件确认 LWS 已启用且就绪;请参阅安装 Alauda AI Platform。

注意:kubeflow-trainer-operator v26.3.0 与上游 kubeflow/manifests 26.03 对齐,并附带 Trainer v2.1.0 + JobSet v0.10.1。对于 OLM CatalogSource 已发布更高 trainer 版本(>=2.2.0)的集群,请使用 installPlanApproval: Manual 和 startingCSV: kubeflow-trainer-operator.v2.1.0 进行安装,以防止 OLM 自动升级到 26.03 固定版本之上。

在管理员 > MarketPlace > OperatorHub 中找到 kubeflow-trainer-operator,单击安装;如果需要固定版本,请选择 Manual 安装计划审批,然后打开所有实例选项卡,创建一个启用了 JobSet 的 KubeflowTrainer CR。