Kubeflow Trainer 快速入门
在 Alauda AI 上使用 Kubeflow Trainer v2 进行最小化分布式 PyTorch 训练配置:一个自定义 runtime 镜像、一个 ClusterTrainingRuntime,以及一个 MNIST 示例 notebook。
Runtime 镜像
使用预构建镜像 alaudadockerhub/torch-distributed:v2.9.1-aml2,或者基于此 torch_distributed.Containerfile 构建你自己的镜像:
ClusterTrainingRuntime
请以集群管理员身份应用此 kf-torch-distributed.yaml。pod spec 已针对 Alauda AI 的默认 PSA 进行了收紧。
运行示例 notebook
该 notebook 会安装 Python 包并下载 MNIST,因此 workbench 需要具备外部网络访问能力。
下载 kubeflow-trainer-mnist.ipynb 并将其上传到你的 workbench,然后按照 notebook 中的步骤提交 TrainJob。
关于 Trainer v2 功能的背景信息,请参阅 上游 Kubeflow Trainer 文档。