#训练指南
在 Alauda AI Platform 上训练和微调模型的端到端配方。
#选择路径
| 当你想要…… | 使用 | 指南 |
|---|---|---|
| 在 GPU 上微调或训练,并在 Ascend NPU 上提供兼容模型服务 | 跨加速器工作流索引 | 在 GPU 上训练并在 NPU 上运行推理 |
| 微调 YOLOv5 目标检测模型并使用 Triton 部署 | Kubeflow Trainer v2 + Triton Inference Server | 训练、微调和部署 YOLOv5 |
| 可复用模板、可重复运行、可选 Kueue 配额 | Kubeflow Trainer v2 + LlamaFactory | 使用 Kubeflow Trainer v2 进行微调 |
| 在崩溃、抢占或暂停后继续训练,避免损失数小时的训练进度 | Checkpoint PVC + resume_from_checkpoint + maxRestarts | 检查点保存与恢复 TrainJobs |
| 在 KubeRay 训练作业崩溃、被抢占或重新提交后继续运行 | Checkpoint PVC + Ray Train storage_path + TorchTrainer.restore | 检查点保存与恢复 RayJobs |
| 将训练与在线推理相结合,并按需释放 GPU | Kueue cohort + 抢占 + 检查点恢复 | 使用 Kueue 运行可抢占 TrainJobs |
| 在 GPU 的一个切片上微调,而不是使用整张显卡 | Dynamic Resource Allocation (DRA) MIG 切片 + Trainer v2 | 使用 Dynamic Resource Allocation (DRA) 进行 GPU 切片 |
一组 Curated TrainingRuntime 镜像(CUDA / CANN) | Trainer v2 运行时目录 | 训练运行时镜像 |
| 快速启动 Trainer v2 上的分布式 PyTorch | ClusterTrainingRuntime + MNIST | Kubeflow Trainer 快速入门 |
| 使用 Kubernetes JobSet 直接运行双节点 PyTorch DDP 作业 | Indexed Job + 稳定的 Pod DNS + torchrun | 使用 JobSet 运行分布式 PyTorch 训练 |
| 在 Trainer v2 上运行 OpenMPI 工作负载 | 支持 MPI 的 TrainingRuntime + TrainJob | 使用 Kubeflow Trainer v2 运行 MPI 训练 |
| 使用自动内存管理进行生产级 SFT / OSFT | training_hub | 使用 Training Hub 微调 LLM |
| 基于可通过程序验证的奖励进行强化学习 | Training Hub lora_grpo + verl | 使用 Training Hub 通过可验证奖励运行 RL |
| 交互式探索、自定义脚本、提交 VolcanoJob | Workbench Notebook | 使用 Workbench 微调 LLM |
| 在 Workbench 中将 PDF 转换为 SFT JSONL | Docling + SDG Hub + 兼容 OpenAI 的教师模型 | 使用 Docling 和 SDG Hub 准备微调数据 |
| 在 Ascend NPU 上进行全参数 SFT / 预训练 | Workbench PyTorch CANN / MindSpore CANN | 在 Ascend NPU 上微调和预训练 |
| 在 MLflow 中跟踪 KFP 运行的参数和指标 | KFP 组件 + MLflow SDK | Kubeflow Pipeline + MLflow 集成 |
| 离线构建特征、在线物化特征,并使用 Feast 提供模型服务 | Feast Operator + KServe | Feast 离线到在线推理 |
| 在 KubeRay 集群上运行 Feast 的 Ray 离线存储 | Feast Ray 离线存储 + KubeRay Operator | 使用 Ray 离线存储的 Feast |
| 在 KubeRay 上运行分布式训练作业,并在 MLflow 中比较运行结果 | KubeRay RayJob + Ray Train + MLflow | 在 KubeRay 上训练并使用 MLflow 跟踪实验 |
| 通过 Kueue 提交 KubeRay 训练作业,并按需扩缩工作节点 | Kueue 准入 + Ray Autoscaler v2 | 使用 Kueue 和自动扩缩运行 KubeRay 训练 |
| 使用可复用的 AutoGluon 资源训练表格或时间序列模型 | 托管 KFP pipelines 或可组合组件 | 使用可复用的 Kubeflow Pipeline 组件 |
| 使用 KFP 缓存、并行循环和持久化的类型化制品 | KFP 2.16.1 执行机制 | Kubeflow Pipelines 执行与存储行为 |
| 使用 MLflow + TrustyAI 执行每日微调 → 评估 → 比较循环 | KFP Recurring Run + MLflow Model Registry + LMEvalJob | 使用 MLflow 和 TrustyAI 的每日微调流水线 |
| 使用 Ray Data 解析数千个 PDF,并可选择写入 Milvus | 来自 pipelines-components 的 KFP parse_and_chunk RayJob | 从 pipelines-components 运行 Ray Data 流水线 |
| 为文档语料搜索 RAG 分块、嵌入和检索设置 | KFP AutoRAG pipelines + OGX (Llama Stack) | 使用 AutoRAG Pipelines 优化 RAG 应用 |
NOTE
若干训练笔记本会从相邻的 assets/ 目录加载源代码和清单。请将每个笔记本及其资源一并克隆,而不要只下载 .ipynb:
git clone --depth 1 --filter=blob:none --sparse https://github.com/alauda/aml-docs.git
git -C aml-docs sparse-checkout set --no-cone \
/docs/en/train/guides/feast-offline-to-online-inference.ipynb \
/docs/en/train/guides/assets/feast-offline-to-online-inference/ \
/docs/en/train/guides/feast-with-ray-offline-store.ipynb \
/docs/en/train/guides/assets/feast-with-ray-offline-store/ \
/docs/en/train/guides/kuberay-training-with-mlflow.ipynb \
/docs/en/train/guides/assets/kuberay-training-with-mlflow/ \
/docs/en/train/guides/kuberay-checkpointing-and-resuming.ipynb \
/docs/en/train/guides/assets/kuberay-checkpointing/ \
/docs/en/train/guides/prepare-finetune-data-with-docling-and-sdg.ipynb \
/docs/en/train/guides/assets/docling-sdg/ \
/docs/en/train/guides/run-ray-data-pipelines.ipynb \
/docs/en/train/guides/assets/ray-data-pipelines/ \
/docs/en/train/guides/run-distributed-training-with-jobset.ipynb \
/docs/en/train/guides/assets/jobset-pytorch-ddp/ \
/docs/en/train/guides/run-mpi-training-with-trainer-v2.ipynb \
/docs/en/train/guides/assets/mpi-trainer-v2/
cd aml-docs/docs/en/train/guides