训练运行时镜像
面向 Kubeflow Trainer v2 的精选 TrainingRuntime 镜像。每个镜像都捆绑了特定的 PyTorch + 加速器栈,因此用户无需重新构建即可提交 TrainJob。
可用运行时
CUDA 镜像仅支持 amd64;CANN 镜像仅支持 arm64。
选择运行时
- GPU 上的 torchrun →
torch2.6-cu126-amd64 - NPU 上的 torchrun →
torch2.6-cann8.5-arm64(设置runtimeClassName: ascend) - 使用 LLaMA-Factory 进行 LLM SFT / LoRA →
llamafactory0.9-cu126-amd64(GPU)或llamafactory0.9-cann8.5-arm64(NPU) - TRL / PEFT SFT / OSFT / DPO →
traininghub0.1-cu126-amd64 - Ascend 上的 Megatron 风格训练 →
mindspeed-llm-cann8.5-arm64
应用 TrainingRuntime
可直接应用的 YAML 位于 assets/training-runtimes/。每个 YAML 都固定为 :v0.1.0;如需跟踪其他发布版本,请覆盖 tag。这些 YAML 默认使用 Kubeflow Profile 的 namespace —— 请将 metadata.namespace 修改为你提交作业所在的 namespace。
提交 TrainJob
一个共享的冒烟测试模板适用于任何运行时 —— 将 spec.runtimeRef.name 设置为你要验证的运行时:
设备资源请求
NVIDIA GPU
整卡请求:
HAMI 虚拟 GPU 切片:
Huawei Ascend NPU
始终设置 runtimeClassName: ascend,这样会注入宿主机驱动库和 DCMI sockets。
标准 Huawei 设备插件:
HAMI vNPU(每个 910B4 切分为 20 个核心 / 32 GiB):
使用 HAMI 时,allocatable.huawei.com/Ascend910B4 读取为 0,因为 HAMI 通过其 scheduler extender 进行分配。如果 pod 一直处于 Pending 且提示 hami-scheduler: 1 node unregistered,请确认宿主机驱动已加载(/sys/bus/pci/drivers/davinci、npu-smi info 状态正常),并且节点已打上 ascend=on 标签。
镜像注意事项
- 所有 CANN 镜像 ——
runtimeClassName: ascend会绑定挂载宿主机的/usr/local/Ascend,但不会导出 CANN 环境变量(LD_LIBRARY_PATH、ASCEND_HOME_PATH、…)。任何导入torch_npu的入口命令都必须先执行source /usr/local/Ascend/ascend-toolkit/set_env.sh(可选再执行/usr/local/Ascend/nnal/atb/set_env.sh);否则导入会因libhccl.so: cannot open shared object file失败。已发布的 runtime YAML 已经包含这些步骤——请在任何派生 runtime 中保留这些source行。 traininghub0.1-cu126-amd64—— 镜像包含 CUDA runtime,但不包含 toolkit。DeepSpeed JIT op 编译需要nvcc;如果使用这些 op,请挂载或安装nvidia-cuda-toolkit,并设置CUDA_HOME。mindspeed-llm-cann8.5-arm64——megatron.core需要pkg_resources,因此请在 job 入口命令中安装setuptools<81。当前import mindspeed_llm会因mindspeed_llmmaster /core_r0.8.0不匹配而失败;底层的 torch + torch_npu + megatron.core + mindspeed 栈无需该适配 shim 即可正常训练。
自行构建
Containerfiles、多架构 buildkitd 辅助工具、e2e harness 和修复后扫描证据位于 kubeflow-plugin/training-runtimes。每个框架镜像都只是 torch2.6-cu126-amd64 或 torch2.6-cann8.5-arm64 上的一层薄层,因此派生一个新的 runtime 基本上就是 FROM docker.io/alaudadockerhub/torch2.6-cu126-amd64:v0.1.0 再加上框架安装。