使用可复用的 Kubeflow Pipeline 组件

下一个 Alauda AI Platform 版本将为 Kubeflow Pipelines 2.16.1 打包来自镜像 pipelines-components 项目的可复用组件。此 KFP 版本将由 Alauda kfp-operator v26.3.1 和 DSPO v2.15.2 提供。任一安装都会预加载 两个 beta AutoGluon pipeline:

Pipeline用途输入数据
autogluon-tabular-training-pipeline回归、二分类和多分类带有目标列的 CSV
autogluon-timeseries-training-pipeline预测一个或多个时间序列带有 ID、时间戳和数值目标列的 CSV 或 Parquet

托管 pipeline 是完成训练运行的最短路径。需要自定义 pipeline DAG 时,也可以克隆镜像并导入单个组件。对于文档 RAG 搜索,请从同一镜像编译 AutoRAG pipeline;请参阅使用 AutoRAG Pipeline 优化 RAG 应用。 如需在编译 pipeline 之前,在 Workbench 中进行交互式 Docling 转换和 SDG Hub 生成, 请参阅使用 Docling 和 SDG Hub 准备微调数据。 如需在 KubeRay 上使用 Ray Data 解析数千个 PDF,请编译实验性的 parse_and_chunk 组件;请参阅从 pipelines-components 运行 Ray Data Pipeline。

NOTE

KFP 2.16.1 服务和可复用组件镜像支持 linux/amd64 和 linux/arm64。由于 DSPO 不会部署可选的、仅支持 amd64 的元数据写入器, 因此在 arm64 上无需进行其他设置。对于 Alauda kfp-operator,请设置 kfpMetadataWriter.enabled: false。请参阅 arm64 部署 说明。

前置条件

要求详细信息
Kubeflow Pipelines 2.16.1将在下一版 Alauda AI Platform 中提供,随附 Alauda kfp-operator v26.3.1 或 DSPO v2.15.2。一个集群只能安装一个 pipeline operator。
支持的架构linux/amd64 或 linux/arm64。在 arm64 上,请遵循上文链接的 operator 专属配置。
S3 兼容的输入存储数据加载器直接从 S3 读取输入对象。
S3 凭据 Secret在执行 pipeline run 的命名空间中创建。
工作区存储托管 pipeline 请求一个 12 GiB 的 ReadWriteOnce 工作区 PVC。安装必须配置可用的默认存储类。
计算资源数据加载器请求 2 个 CPU 和 8 GiB。使用 preset=speed 进行训练时请求 4 个 CPU 和 16 GiB;使用 preset=balanced 时请求 8 个 CPU 和 32 GiB。

输入存储桶可以不同于配置为 KFP artifact store 的对象存储。以下 Secret 用于向输入存储桶验证数据加载器;KFP 会单独向其 launcher 提供 artifact store 凭据。

创建输入存储 Secret

在 pipeline run 命名空间中创建 Secret:

NS=my-pipeline-namespace

kubectl -n "$NS" create secret generic pipeline-input-s3 \
  --from-literal=AWS_ACCESS_KEY_ID='<access-key>' \
  --from-literal=AWS_SECRET_ACCESS_KEY='<secret-key>' \
  --from-literal=AWS_S3_ENDPOINT='https://s3.example.com' \
  --from-literal=AWS_DEFAULT_REGION='us-east-1'

在 AWS_S3_ENDPOINT 中保留 URI 方案。组件会将此值作为 endpoint URL 传递给 S3 客户端。

在启动 run 之前,将训练文件上传到存储桶。例如,以下表格输入包含两个特征和一个回归标签:

feature_a,feature_b,price
1.0,2.0,10.5
2.0,3.0,20.5
3.0,4.0,30.5

删除重复行、无效标签和其他不可用值后,表格数据必须至少包含 100 行有效数据。

运行托管表格 pipeline

  1. 打开 Kubeflow Pipelines,然后选择 Pipelines。
  2. 搜索 autogluon-tabular-training-pipeline,然后选择其最新版本。
  3. 选择 Create run,选择包含该 Secret 的命名空间,然后设置以下输入:
输入示例描述
train_data_secret_namepipeline-input-s3S3 凭据 Secret
train_data_bucket_nametraining-data输入 bucket
train_data_file_keytabular/housing.csvCSV 对象键
label_columnprice目标列
task_typeregressionregression、binary 或 multiclass
top_n3要保留的模型数量,范围为 1 至 10
positive_classempty二元分类的可选正类标签
eval_metricempty留空时,回归选择 r2,分类选择 accuracy
presetspeedspeed 或更大的 balanced 资源层级
  1. 启动运行,并在运行图中跟踪数据加载器和模型训练任务。

该 pipeline 会对源数据进行采样和拆分,训练并对 AutoGluon 模型进行排名,然后重新拟合最佳的 top_n 个模型。训练拆分通过 运行的 workspace PVC 共享。测试拆分、leaderboard、模型 predictors、 指标以及生成的推理 notebook 都是 KFP artifact,会持久化到配置的 artifact store 中。

运行托管时间序列 pipeline

选择 autogluon-timeseries-training-pipeline,并提供上述描述的通用存储输入。其时间序列专用输入如下:

输入示例描述
targetsales要预测的数值
id_columnproduct_id标识每个独立序列
timestamp_columndate可解析的观测时间戳
known_covariates_names["is_holiday", "promo"]预测范围内已知的可选列
prediction_length14要预测的时间步数
top_n3要保留的模型数量
eval_metricmean_absolute_scaled_errorAutoGluon 时间序列排名指标
presetspeedspeed 或 balanced

加载器会对 ID/时间戳对进行去重,并为每个序列执行时间拆分。它会将工作训练拆分写入 workspace PVC,并将测试拆分和训练后的模型写入 artifact store。

从镜像编排自定义 pipeline

kfp-components 软件包未发布到 PyPI。克隆 Alauda 镜像,并在 Python 3.11 或更高版本的虚拟环境中安装该软件包。将 SDK 固定为 Alauda AI Platform 随附的版本。将 <pipelines-components-repo-url> 替换为 Alauda 为该环境提供的仓库地址:

git clone <pipelines-components-repo-url>
cd pipelines-components

python3 -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip
python -m pip install 'kfp==2.16.1' 'kfp-kubernetes==2.16.1'
python -m pip install --no-deps -e .

此示例导入表格数据加载器,并在较小的自定义 pipeline 中使用它。将镜像替换为镜像到集群中的 AutoML 运行时:

from kfp import compiler, dsl, kubernetes
from kfp_components.components.data_processing.automl.tabular_data_loader import (
    automl_data_loader,
)

AUTOML_IMAGE = "<registry>/mlops/kubeflow/odh-automl:v1.11.0.post.1"


@dsl.pipeline(
    name="custom-tabular-loader",
    pipeline_config=dsl.PipelineConfig(
        workspace=dsl.WorkspaceConfig(
            size="12Gi",
            kubernetes=dsl.KubernetesWorkspaceConfig(
                pvcSpecPatch={"accessModes": ["ReadWriteOnce"]}
            ),
        )
    ),
)
def custom_tabular_loader(
    secret_name: str,
    bucket: str,
    object_key: str,
    label: str,
    task_type: str = "regression",
):
    loader = automl_data_loader(
        bucket_name=bucket,
        file_key=object_key,
        workspace_path=dsl.WORKSPACE_PATH_PLACEHOLDER,
        label_column=label,
        task_type=task_type,
    )
    loader.set_container_image(AUTOML_IMAGE)
    kubernetes.use_secret_as_env(
        loader,
        secret_name=secret_name,
        secret_key_to_env={
            "AWS_ACCESS_KEY_ID": "AWS_ACCESS_KEY_ID",
            "AWS_SECRET_ACCESS_KEY": "AWS_SECRET_ACCESS_KEY",
            "AWS_S3_ENDPOINT": "AWS_S3_ENDPOINT",
            "AWS_DEFAULT_REGION": "AWS_DEFAULT_REGION",
        },
    )


compiler.Compiler().compile(
    pipeline_func=custom_tabular_loader,
    package_path="custom-tabular-loader.yaml",
)

从 Kubeflow Pipelines UI 上传 custom-tabular-loader.yaml,或使用 KFP SDK 提交它。在使用其他资产之前,请查看该组件的 README.md、metadata.yaml 以及镜像中的测试;该仓库包含具有不同外部服务要求的 alpha 和 beta 资产。Ray Data RAG pipeline 属于实验性功能,需要 KubeRay 以及 RWX PDF PVC;请按照从 pipelines-components 运行 Ray Data Pipelines中的说明进行编译。

故障排除

  • 未找到 Secret:Secret 受命名空间作用域限制。请在与运行所在的命名空间相同的命名空间中创建输入 Secret。
  • Workspace PVC 仍处于 Pending 状态:配置支持 ReadWriteOnce 的默认存储类,或请平台管理员配置 KFP workspace 存储类。
  • 运行仍处于 Pending 状态:将集群可用资源与先决条件中的 CPU 和内存请求进行比较。从 preset=speed 开始。
  • 无法读取输入对象:检查 endpoint scheme、bucket 和 object key、凭据、地域、网络策略以及 S3 server 证书。
  • Pod 完成后缺少构件:pipeline 输入 Secret 未配置 KFP 持久化。请与平台管理员一起检查 KFP 安装的 artifact-store endpoint 和凭据。