使用可复用的 Kubeflow Pipeline 组件
下一个 Alauda AI Platform 版本将为 Kubeflow Pipelines 2.16.1 打包来自镜像
pipelines-components 项目的可复用组件。此 KFP 版本将由 Alauda
kfp-operator v26.3.1 和 DSPO v2.15.2 提供。任一安装都会预加载
两个 beta AutoGluon pipeline:
托管 pipeline 是完成训练运行的最短路径。需要自定义
pipeline DAG 时,也可以克隆镜像并导入单个组件。对于文档 RAG 搜索,请从同一镜像编译
AutoRAG pipeline;请参阅使用 AutoRAG Pipeline 优化 RAG 应用。
如需在编译 pipeline 之前,在 Workbench 中进行交互式 Docling 转换和 SDG Hub 生成,
请参阅使用 Docling 和 SDG Hub 准备微调数据。
如需在 KubeRay 上使用 Ray Data 解析数千个 PDF,请编译实验性的
parse_and_chunk 组件;请参阅从 pipelines-components 运行 Ray Data Pipeline。
KFP 2.16.1 服务和可复用组件镜像支持 linux/amd64 和
linux/arm64。由于 DSPO 不会部署可选的、仅支持 amd64 的元数据写入器,
因此在 arm64 上无需进行其他设置。对于 Alauda kfp-operator,请设置
kfpMetadataWriter.enabled: false。请参阅 arm64 部署
说明。
前置条件
输入存储桶可以不同于配置为 KFP artifact store 的对象存储。以下 Secret 用于向输入存储桶验证数据加载器;KFP 会单独向其 launcher 提供 artifact store 凭据。
创建输入存储 Secret
在 pipeline run 命名空间中创建 Secret:
在 AWS_S3_ENDPOINT 中保留 URI 方案。组件会将此值作为 endpoint URL 传递给 S3 客户端。
在启动 run 之前,将训练文件上传到存储桶。例如,以下表格输入包含两个特征和一个回归标签:
删除重复行、无效标签和其他不可用值后,表格数据必须至少包含 100 行有效数据。
运行托管表格 pipeline
- 打开 Kubeflow Pipelines,然后选择 Pipelines。
- 搜索
autogluon-tabular-training-pipeline,然后选择其最新版本。 - 选择 Create run,选择包含该 Secret 的命名空间,然后设置以下输入:
- 启动运行,并在运行图中跟踪数据加载器和模型训练任务。
该 pipeline 会对源数据进行采样和拆分,训练并对 AutoGluon
模型进行排名,然后重新拟合最佳的 top_n 个模型。训练拆分通过
运行的 workspace PVC 共享。测试拆分、leaderboard、模型 predictors、
指标以及生成的推理 notebook 都是 KFP artifact,会持久化到配置的 artifact store 中。
运行托管时间序列 pipeline
选择 autogluon-timeseries-training-pipeline,并提供上述描述的通用存储输入。其时间序列专用输入如下:
加载器会对 ID/时间戳对进行去重,并为每个序列执行时间拆分。它会将工作训练拆分写入 workspace PVC,并将测试拆分和训练后的模型写入 artifact store。
从镜像编排自定义 pipeline
kfp-components 软件包未发布到 PyPI。克隆 Alauda 镜像,并在 Python 3.11 或更高版本的虚拟环境中安装该软件包。将 SDK 固定为 Alauda AI Platform 随附的版本。将 <pipelines-components-repo-url> 替换为 Alauda 为该环境提供的仓库地址:
此示例导入表格数据加载器,并在较小的自定义 pipeline 中使用它。将镜像替换为镜像到集群中的 AutoML 运行时:
从 Kubeflow Pipelines UI 上传 custom-tabular-loader.yaml,或使用 KFP SDK 提交它。在使用其他资产之前,请查看该组件的 README.md、metadata.yaml 以及镜像中的测试;该仓库包含具有不同外部服务要求的 alpha 和 beta 资产。Ray Data RAG pipeline 属于实验性功能,需要 KubeRay 以及 RWX PDF PVC;请按照从 pipelines-components 运行 Ray Data Pipelines中的说明进行编译。
故障排除
- 未找到 Secret:Secret 受命名空间作用域限制。请在与运行所在的命名空间相同的命名空间中创建输入 Secret。
- Workspace PVC 仍处于 Pending 状态:配置支持
ReadWriteOnce的默认存储类,或请平台管理员配置 KFP workspace 存储类。 - 运行仍处于 Pending 状态:将集群可用资源与先决条件中的 CPU 和内存请求进行比较。从
preset=speed开始。 - 无法读取输入对象:检查 endpoint scheme、bucket 和 object key、凭据、地域、网络策略以及 S3 server 证书。
- Pod 完成后缺少构件:pipeline 输入 Secret 未配置 KFP 持久化。请与平台管理员一起检查 KFP 安装的 artifact-store endpoint 和凭据。