介绍

MLflow Operator 在 Alauda AI 上部署并管理一个多租户的 MLflow Tracking Server。它基于开源 MLflow 构建,为数据科学和 ML 团队提供共享的实验跟踪和模型注册服务,并与平台的单点登录和 Kubernetes RBAC 集成——因此每个团队只能看到并管理自己的运行、实验和已注册模型。

MLflow 以 OLM Helm-based operator 的形式交付。从平台的 OperatorHub 安装该 operator,并创建一个 MLflow 自定义资源,即可启动 tracking server,通过平台 ingress 对外暴露,并在 Alauda AI → Tools 菜单中添加一个 MLFlow 条目。

它会部署什么

当你创建一个 MLflow 自定义资源时,operator 会在配置的命名空间中协调部署一套 MLflow 栈(默认是 kubeflow):

  • MLflow Tracking Server — 实验跟踪 API 和 Web UI:记录参数、指标和 artifact;浏览 runs;并管理模型注册表(mlflow Python SDK 的目标端)。
  • OAuth proxy (oauth2-proxy) — 在每个请求到达 MLflow 之前,先通过平台 OIDC provider 对其进行身份验证。客户端始终通过 proxy 访问;它们不会直接连接到 MLflow 容器端口。
  • Kubernetes auth plugin — 在 tracking server 内部,从转发的 token 中读取调用方身份,将每个 run 记录到该用户名下,并基于 Kubernetes RBAC 对请求进行授权。
  • Tools 菜单条目和 ingress route — 一个 ConfigMap,用于将 MLFlow 添加到 Alauda AI Tools 菜单,以及一个位于平台负载均衡器上的 ingress route。

MLflow 元数据存储在你提供的 外部 PostgreSQL 数据库中。run artifact 会写入 tracking server 配置的 artifact root(请参见 安装 → 高可用性和存储)。

核心概念

概念描述
MLflow 自定义资源用于声明一个 MLflow tracking server 的 CR(mlflow.alauda.io/v1alpha1)。一个 CR = 集群中的一个 tracking server。
Workspace暴露给 MLflow 作为租户边界的 Kubernetes namespace。Experiments、runs、datasets 和已注册模型都属于某个 workspace。
多租户只有与已配置 label selector(默认 mlflow-enabled=true)匹配的 namespace 才会作为 workspace 可见;访问会基于 Kubernetes RBAC 按 namespace 进行授权。
OAuth proxyoauth2-proxy 位于 tracking server 前端:它先对调用方进行平台 SSO 身份验证,然后将身份 token 转发给 MLflow。

多租户模型

在 Alauda AI 上,MLflow 通过将 workspace 映射到 Kubernetes namespace 来实现多租户:

  • 当一个 namespace 带有已配置的 label(默认 mlflow-enabled=true)时,它就会成为一个 MLflow workspace。
  • 每一次 MLflow API 调用都会先由 OAuth proxy 进行身份验证,然后使用 mlflow.kubeflow.org API group,在目标 namespace 中基于调用方的 Kubernetes RBAC 进行授权。
  • Runs 会记录在发起调用的用户身份名下。

因此,workspace 的成员关系和权限通过普通的 Kubernetes Role / RoleBinding 对象进行管理——请参见 Workspaces and access control。

适用场景

当团队需要一个共享、受 SSO 保护的实验跟踪和模型注册服务,并且希望每个团队的 runs 和模型通过 namespace 隔离并受 Kubernetes RBAC 管理时,应使用 MLflow Operator;而不是使用一个未经身份验证的单租户 MLflow server。