#训练指南
在 Alauda AI 上对 LLMs 进行微调和预训练的端到端方案。
#选择路径
| 当您需要…… | 使用 | 指南 |
|---|---|---|
| 可复用模板、可重复运行、可选的 Kueue 配额 | Kubeflow Trainer v2 + LlamaFactory | 使用 Kubeflow Trainer v2 进行微调 |
| 将训练与在线推理结合,并在按需时释放 GPU | Kueue cohort + preemption + checkpoint resume | 使用 Kueue 的可抢占 TrainJobs |
| 在 GPU 的 切片 上运行微调,而不是占用整张卡 | Dynamic Resource Allocation (DRA) MIG slice + Trainer v2 | 使用 Dynamic Resource Allocation (DRA) 进行 GPU 切片 |
一组 Curated 的 TrainingRuntime 镜像(CUDA / CANN) | Trainer v2 runtime catalog | Training Runtime 镜像 |
| 在 Trainer v2 上快速启动分布式 PyTorch | ClusterTrainingRuntime + MNIST | Kubeflow Trainer 快速开始 |
| 带自动内存管理的生产级 SFT / OSFT | training_hub | 使用 Training Hub 微调 LLMs |
| 交互式探索、自定义脚本、VolcanoJob 提交 | Workbench Notebook | 使用 Workbench 进行 LLMs 微调 |
| 在 Ascend NPU 上进行全参数 SFT / 预训练 | Workbench PyTorch CANN / MindSpore CANN | 在 Ascend NPU 上微调和预训练 |
| 在 MLflow 中跟踪 KFP 运行的参数和指标 | KFP component + MLflow SDK | Kubeflow Pipeline + MLflow 集成 |
| 使用 MLflow + TrustyAI 的每日微调 → 评估 → 比较循环 | KFP Recurring Run + MLflow 模型注册表 + LMEvalJob | 使用 MLflow 和 TrustyAI 的每日微调流水线 |