Kubeflow Pipeline + MLflow 集成
本指南介绍如何使用 MLflow Python 客户端,将 Kubeflow Pipelines (KFP) 组件的参数、指标和模型记录到 Alauda AI Platform 上的 MLflow。身份验证以及工作区/RBAC 遵循使用 MLflow Python SDK 进行身份验证和 RBAC中的说明——每个组件都使用用户身份令牌进行身份验证,服务器会将运行记录在该用户名下。
目录
适用范围先决条件组件如何访问 MLflow完整示例:使用 MLflow 的训练 Pipeline上传和运行通过 KFP UI通过 KFP SDK在 Trainer v2 Pipeline 中使用 MLflow最佳实践在 MLflow 中使用 Pipeline Job ID将凭据保存在 Secret 中并刷新令牌在运行中记录指标用于生产环境的制品存储故障排除适用范围
- Alauda AI 2.5 及更高版本。
- 已安装 Kubeflow Pipelines 和 MLflow Operator,并且正在运行
MLflow自定义资源。 - MLflow 工作区是带有
mlflow-enabled=true标签的命名空间。 - 对于 bearer token 方法,请保留默认的
spec.auth.oauth.skipJwtBearerTokens: true——请参阅 SDK 指南中的验证令牌方法。无需更改全局身份验证,cookie 方法也完全无需设置。
先决条件
kfp和kfp-kubernetesPython SDK (pip install kfp kfp-kubernetes)。- 对 KFP endpoint 的访问权限(请参阅使用 Kubeflow Pipelines)。
- 专用非个人账户的 Dex id token(普通平台登录账户,而非 Kubernetes ServiceAccount),通过 authorization-code 流程在无需浏览器的情况下生成(请参阅 SDK 指南)。将其存储在 Kubernetes
Secret中,并将其注入组件。 - 一个账户可以访问的 MLflow 工作区(带有
mlflow-enabled=true的命名空间)。
组件如何访问 MLflow
Pipeline 组件在集群内部运行,因此会通过集群内 Service http://mlflow-tracking-server.kubeflow:5000 与 MLflow 通信(该 Service 前面由 OAuth proxy 提供代理——组件绝不会直接使用 MLflow 容器端口)。它的身份验证方式与其他 MLflow 客户端完全相同:
MLFLOW_TRACKING_TOKEN— Dex id token;MLflow 客户端将其作为Authorization: Bearer …发送。mlflow.set_workspace(...)— 选择工作区 (X-MLFLOW-WORKSPACE)。
服务器从令牌中读取身份,并将运行记录在该用户名下。有关如何获取令牌以及授权工作原理,请参阅 SDK 指南。
完整示例:使用 MLflow 的训练 Pipeline
该组件使用 MLflow 客户端,并从通过 kfp-kubernetes 注入的 Secret 中读取 MLFLOW_TRACKING_TOKEN。KFP v2 会从每个组件自身的源代码打包组件,因此 import mlflow 位于函数内部。
创建包含 Dex id token 的 mlflow-token Secret。按照 SDK 指南中的 authorization-code 流程,在无需浏览器的情况下生成 ID_TOKEN——请参阅从命令行获取令牌:
id token 默认 24 小时后过期,因此在提交长时间运行的 Pipeline 之前,请刷新 mlflow-token Secret——或者在组件内部使用存储在 Secret 中的账户凭据生成令牌(请参阅 SDK 指南中的令牌流程),并使用 refresh token 续期,这样每次运行都会获得新令牌。
上传和运行
通过 KFP UI
- 转到 Kubeflow Dashboard → Pipelines → Upload Pipeline,然后选择
pipeline.yaml。 - 单击 Create Run,然后填写参数(工作区、模型名称、训练轮数)。
- 运行开始后,在 Alauda AI Platform → Tools → MLFlow 下检查 MLflow UI——运行所有者就是令牌所属用户。
通过 KFP SDK
在 Trainer v2 Pipeline 中使用 MLflow
如果使用 Kubeflow Trainer v2 进行微调,则框架的 MLflow 集成(例如 LLaMA-Factory 中的 report_to: mlflow)会以相同方式进行身份验证。Trainer v2 使用 apiVersion: trainer.kubeflow.org/v1alpha1、kind: TrainJob 以及 spec.runtimeRef + spec.trainer 结构。将其指向集群内 Service,并从 Secret 注入 id token:
有关完整的 Trainer v2 + MLflow 示例,请参阅使用 Workbench 微调 LLM。
有关将此集成与 MLflow Model Registry、TrustyAI LMEvalJob 以及每日 KFP Recurring Run 结合使用的更完整解决方案,请参阅使用 MLflow 和 TrustyAI 的每日微调 Pipeline。
最佳实践
在 MLflow 中使用 Pipeline Job ID
KFP v2 提供 dsl.PIPELINE_JOB_ID_PLACEHOLDER(v1 中的 dsl.RUN_ID_PLACEHOLDER 已移除)。它是 Pipeline 级别的占位符,因此应将其作为参数传递给组件——组件无法在自身主体中引用 dsl.*。在运行名称中使用接收到的字符串,以确保每次 Pipeline 执行的运行彼此区分。
将凭据保存在 Secret 中并刷新令牌
切勿将令牌或帐户凭据硬编码到 pipeline.yaml 中——编译后的 Pipeline 会被存储和共享。应从 Secret 注入这些凭据,并在 id token 过期前刷新它(或在组件内部生成)。
在运行中记录指标
每个指标都应属于一个 mlflow.start_run() 块。如果一个组件包含多个逻辑阶段,应为每个阶段打开一个运行,而不是在运行上下文之外记录指标。
用于生产环境的制品存储
兼容 S3 的代理存储允许 Pipeline 组件通过 tracking server 上传内容,而无需接收 S3 凭据。在记录制品或注册模型之前配置 artifacts.s3(请参阅 MLflow 安装 → 高可用性和存储)。