常见问题
目录
在 Kubernetes 中设置 PSA=restricted 时如何使用 Kubeflow plugins如何配置 Kubeflow 使用备用平台地址进行登录?v26.3.0 及更高版本(OLM operator 安装)v1.x(Cluster Plugin 安装 — 旧版)如何使用外部 S3/MinIO 存储启动 Kubeflow Pipeline Run配置 Kubeflow Notebook 以使用自定义 GPU 资源Pod 启动失败:Probe 超时(kube-ovn 环境)在 Kubernetes 中设置 PSA=restricted 时如何使用 Kubeflow plugins
如果您的 namespace 设置为 PSA=restricted,在使用 Kubeflow 组件时可能会遇到错误,例如创建 notebook、kubeflow pipeline runs 等。要解决此问题,您需要将当前 namespace 的默认 PSA 更改为 baseline:
注意:您可能需要咨询集群管理员,以确保更改 PSA 是可接受的。
如何配置 Kubeflow 使用备用平台地址进行登录?
在某些环境中,平台访问地址被配置为内部网络地址,用户需要通过“备用平台地址”登录。在这种情况下,虽然 OIDC issuer 仍然基于原始平台地址,但登录页面 URL 必须更新为备用地址。
v26.3.0 及更高版本(OLM operator 安装)
步骤:
-
在 operator-instance namespace 中找到用于 kfbase-operator 安装的
KubeflowBaseCR: -
编辑
KubeflowBaseCR。在spec.global下添加oidcAuthURL。将<Alternative-Platform-Address>替换为实际的备用地址。kfbase-operator 的 helm-operator reconcile loop 会将该更改应用到底层 chart release。
-
重启目标集群中的 OAuth2 Proxy:
v1.x(Cluster Plugin 安装 — 旧版)
步骤:
-
在 global 集群中找到 ModuleInfo Resource:
-
编辑 ModuleInfo Resource。在
spec下添加valuesOverride: -
重启 OAuth2 Proxy:
如何使用外部 S3/MinIO 存储启动 Kubeflow Pipeline Run
当您使用外部 S3/MinIO 存储服务安装 Kubeflow 时,需要添加一个 "KFP Launcher" configmap 来设置当前 namespace 或用户使用的存储。您可以查看 Kubeflow 文档 https://www.kubeflow.org/docs/components/pipelines/operator-guides/configure-object-store/#s3-and-s3-compatible-provider 了解更多详情。如果未设置配置,pipeline runs 仍可能访问默认服务地址,例如 "minio-service.kubeflow:9000 ",这并不正确。
下面是一个简单示例,供您开始使用:
例如,您应在此 configmap 中设置以下值,以指向您自己的 S3/MinIO 存储:
- defaultPipelineRoot:用于存储 pipeline 中间数据的位置
- endpoint:S3/MinIO 服务端点。注意,不应以 "http" 或 "https" 开头
- disableSSL:是否禁用到该端点的 "https" 访问
- region:S3 region。如果使用 MinIO,任何值都可以
- credentials:secrets 中的 AK/SK
添加此 configmap 后,新启动的 Kubeflow Pipeline Runs 将自动读取此配置,并保存 Kubeflow Pipeline 使用的相关内容。
配置 Kubeflow Notebook 以使用自定义 GPU 资源
您可以添加其他 GPU 资源类型,以便 Kubeflow Notebook Web 页面能够创建利用这些硬件的实例,例如在使用 Ascend GPUs 时。
通过运行以下命令编辑 configmap:
找到下面的部分,并添加您的 GPU 资源类型,例如 "your-custom.com/gpu"。
注意,您只能添加使用整数值的资源类型,例如 1、2、4、8。此外,您不能像使用 HAMi 时那样,同时使用 "Cores" 和 "Memory" 添加 "Virtual" 或 "Shared" GPU 资源。
Pod 启动失败:Probe 超时(kube-ovn 环境)
症状: kubeflow namespace 中大量 Pod 卡在 CrashLoopBackOff 或 Init:1/2,且 Pod Events 显示如下错误:
原因: kfbase 部署的 default-allow-same-namespace NetworkPolicy 仅允许来自同一 namespace 中 Pod 以及少数系统 namespace 的入站流量。在使用 kube-ovn 作为 CNI 的集群中,kubelet 发送的健康检查流量会通过 kube-ovn 的 join subnet(默认 100.64.0.0/16)到达 Pod。该流量的源 IP 不匹配任何现有 NetworkPolicy 规则,因此会被 OVN ACL 丢弃,导致所有 probe 超时。
修复: 创建一个允许来自 kube-ovn join subnet 的入站流量的 NetworkPolicy:
注意: 不同集群的 join subnet CIDR 可能不同。请始终通过运行 kubectl get subnet join 获取实际值。常见默认值为 100.64.0.0/16。