MLflow 工作区与访问控制

在 Alauda AI Platform 上,MLflow 支持多租户:每个工作区都是一个 Kubernetes 命名空间,对工作区的实验、运行、数据集和已注册模型的访问通过 Kubernetes RBAC 进行授权。本指南介绍如何将命名空间公开为工作区,以及如何向用户授予访问权限。

有关底层模型,请参阅简介 → 多租户模型。

将命名空间公开为工作区

当命名空间带有 MLflow 配置所选的标签(默认为 mlflow-enabled=true)时,该命名空间会成为 MLflow 工作区。只有匹配的命名空间才会显示为工作区。

apiVersion: v1
kind: Namespace
metadata:
  name: team-a
  labels:
    mlflow-enabled: "true"
  annotations:
    mlflow.kubeflow.org/workspace-description: "Team A MLflow workspace"

应用该标签,或为现有命名空间添加标签:

kubectl label namespace team-a mlflow-enabled=true
INFO

Tracking server 的默认工作区命名空间必须在 server 首次启动之前存在并带有相应标签,否则 server 将无法启动(请参阅安装 → 先决条件)。

授予用户访问权限

MLflow 会使用 mlflow.kubeflow.org API 组,根据调用方在目标命名空间中的 Kubernetes 权限,对每个请求进行授权。通过在工作区命名空间中创建 Role 和 RoleBinding 来授予访问权限:

apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  name: mlflow-manager
  namespace: team-a
rules:
  - apiGroups: ["mlflow.kubeflow.org"]
    resources: ["experiments", "datasets", "registeredmodels"]
    verbs: ["get", "list", "create", "update", "delete"]
---
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: mlflow-manager
  namespace: team-a
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: Role
  name: mlflow-manager
subjects:
  - kind: Group
    name: team-a-mlflow-users
    apiGroup: rbac.authorization.k8s.io

绑定中的组名或用户名必须与 OAuth proxy 转发的令牌中的身份声明(平台的 OIDC 组/用户)相匹配。

从客户端选择工作区

将 MLflow tracking URI 设置为集群内 Service(或平台路由),并选择工作区:

import mlflow

mlflow.set_tracking_uri("http://mlflow-tracking-server.kubeflow:5000")  # in-cluster Service, via the OAuth proxy
mlflow.set_workspace("team-a")

with mlflow.start_run():
    mlflow.log_param("tenant", "team-a")

对于原始 HTTP 客户端,请传递工作区标头:

curl \
  -H "X-MLFLOW-WORKSPACE: team-a" \
  "https://<platform>/clusters/<cluster-name>/mlflow/api/2.0/mlflow/experiments/search"

你只能使用帐户有权访问的工作区。有关完整的身份验证详情(包括如何在无需浏览器的情况下获取身份令牌以及连接 SDK),请参阅使用 MLflow Python SDK 进行身份验证和 RBAC。

故障排除

  • 工作区不可见。 验证其命名空间是否与配置的 workspaceLabelSelector 匹配(默认为 mlflow-enabled=true)。
  • 403 PERMISSION_DENIED。 该帐户无权访问工作区命名空间。请在该命名空间中为用户或组添加 RoleBinding。
  • 运行显示了错误的所有者或工作区。 所有者是经过身份验证的身份;工作区是由 set_workspace() / MLFLOW_WORKSPACE 选择的工作区(否则使用 server 默认值)。请检查两者。