从 pipelines-components 运行 Ray Data Pipelines
下一版本的 Alauda AI Platform 将为 Kubeflow Pipelines 2.16.1 打包来自镜像
pipelines-components 项目的可复用组件。operator 可以预加载 AutoGluon
pipelines。Ray Data 组是
实验性的,并且不会预加载。按照与其他自定义资产相同的方式进行编译:克隆 Alauda 提供的镜像,安装
kfp-components editable 版本,然后上传 YAML。请参阅
使用可复用的 Kubeflow Pipeline 组件。
Ray Data 本身不会作为 KFP 任务出现。parse_and_chunk 组件会提交一个 KubeRay RayJob。该作业会构建一个包含 PDF 路径的
ray.data 数据集,在 actor pool 中运行 Docling,并将每个文件对应的一个 JSONL 对象写入兼容 S3 的存储。
编译并上传的 notebook 位于本页面旁:
如果只有几十个 PDF,请改为在 Workbench 中转换: 使用 Docling 和 SDG Hub 准备微调数据。 如需对分块和检索设置进行 RAG 搜索,请使用 使用 AutoRAG Pipelines 优化 RAG 应用。
先决条件
组件运行时镜像默认为 ODH CPU datascience 镜像。将其替换为适用于集群的 Alauda 镜像,或在编译时设置
RELATED_IMAGE_RAG_BASE_RUNTIME。
Kueue:当命名空间具有 Local Queue 时,保留 bypass_kueue=false(默认值)。仅在没有 Kueue 的集群上设置 bypass_kueue=true。
准备输入存储
在 pipeline 命名空间中创建 PDF PVC 和分块存储 Secret:
将 PDF 复制到该 PVC 上的 input/pdfs/ 下(默认的 input_path)。挂载了 data-pvc 的
Workbench 可以从 JupyterLab 上传文件。系统会包含嵌套目录;num_files=0 会处理每个 *.pdf。
从 Workbench 编译
kfp-components 软件包未发布到 PyPI。克隆 Alauda 镜像仓库,
并在 Python 3.11 或更高版本的虚拟环境中安装。将 SDK 固定为 Alauda AI Platform 随附的
版本。将 <pipelines-components-repo-url> 替换为 Alauda 为该环境提供的
仓库地址:
如果只需要 JSONL 分块并打算自行生成嵌入,请仅编译 parse_and_chunk:
如果还需要 Milvus 数据导入和 LLM InferenceService,请编译完整的 RAG DAG。在运行时覆盖
ray_image 和 namespace,不要在此编译步骤中覆盖:
通过 Kubeflow Pipelines > Pipelines > Upload pipeline 上传 YAML,或 在同一 Workbench 中使用 KFP SDK 提交。
仅运行解析和分块
创建 parse_and_chunk 的运行并设置:
组件会等待 Ray 集群报告 readyWorkerReplicas == num_workers,然后等待 RayJob 的 jobStatus 变为 SUCCEEDED(最长
四小时)。输出为 URI s3://<bucket>/<prefix>。
每行 JSONL 的格式如下:
tokenizer 应与之后使用的嵌入模型一致。默认值为
sentence-transformers/all-MiniLM-L6-v2。对于完整的 RAG pipeline,请传入与 embedding_model 相同的字符串。
不要将 Docling actors 调度到 Ray head 上。调整 cpus_per_actor × max_actors,使资源池能够容纳在 worker 组中;如果转换器挂起,会在 timeout_seconds 后于子进程内终止。
运行完整的 RAG pipeline
已编译的 rag_multistep_pipeline 包含两个相互独立的链:
parse_and_chunk→ingest_to_milvus(可选先运行deploy_embedding_model)download_model→model_deployment
保留 deploy_embedding=false 和 embedding_endpoint="",以便在 ingest task 中使用本地
sentence-transformers 模型进行嵌入。只有在需要专用嵌入 InferenceService 时,才设置 deploy_embedding=true。
模型链的其他运行输入:
ingest_to_milvus 从同一个 minio-secret 中读取
S3_ACCESS_KEY / S3_SECRET_KEY。LLM 部署步骤不会等待 ingest;两个链可以
独立完成。
Ray Data 在作业内的处理方式
parse_and_chunk 注入 RayJob 的入口点是 Ray Data
pipeline:
DoclingChunkProcessor 是一个 Ray actor。每个 actor 都拥有一个子进程,该子进程运行
DocumentConverter + HybridChunker 并上传 JSONL。超时会重启该
子进程,因此单个卡住的 PDF 不会导致 actor 终止。这与 Workbench Docling 指南针对数千个文件介绍的模式相同;使用此组件时,无需自行编写此脚本。
该 actor 池形态的纯 CPU 冒烟测试(不使用 Docling,也不使用 PDF PVC)位于
assets/ray-data-pipelines/rayjob-smoke.yaml。
故障排除
后续步骤
- 使用可复用的 Kubeflow Pipeline Components — 了解 AutoGluon 托管的 pipelines,以及如何导入其他镜像资产。
- 使用 Docling 和 SDG Hub 准备微调数据 — 在需要 Ray Data 之前进行交互式 Docling 处理。
- 使用 AutoRAG Pipelines 优化 RAG 应用 — 搜索 RAG 设置,而不是使用固定的 HybridChunker。
- CodeFlare SDK 教程 — 无需 KFP,即可从 notebook 提交 RayJob。