训练运行时镜像

面向 Kubeflow Trainer v2 的精选 TrainingRuntime 镜像。每个镜像都捆绑了特定的 PyTorch + 加速器栈,因此用户无需重新构建即可提交 TrainJob。

可用运行时

镜像设备框架拉取
torch (CUDA)NVIDIA GPU (CUDA 12.6)PyTorch 2.6, transformers, accelerate, datasets, mlflowalaudadockerhub/torch2.6-cu126-amd64:v0.1.0
torch (CANN)Huawei Ascend NPU (CANN 8.5)PyTorch 2.6 + torch_npu 2.6.0.post5alaudadockerhub/torch2.6-cann8.5-arm64:v0.1.0
LLaMA-Factory (CUDA)NVIDIA GPU (CUDA 12.6)LLaMA-Factory 0.9.4 (metrics,awq,modelscope)alaudadockerhub/llamafactory0.9-cu126-amd64:v0.1.0
LLaMA-Factory (CANN)Huawei Ascend NPU (CANN 8.5)LLaMA-Factory 0.9.4 (metrics,modelscope)alaudadockerhub/llamafactory0.9-cann8.5-arm64:v0.1.0
TrainingHub (CUDA)NVIDIA GPU (CUDA 12.6)trl, peft, bitsandbytes, deepspeed (SFT/OSFT/DPO)alaudadockerhub/traininghub0.1-cu126-amd64:v0.1.0
MindSpeed-LLM (CANN)Huawei Ascend NPU (CANN 8.5)MindSpeed + MindSpeed-LLM (Megatron core 0.8.0)alaudadockerhub/mindspeed-llm-cann8.5-arm64:v0.1.0
微调(LlamaFactory CUDA)NVIDIA GPU (CUDA 12.6)LLaMA-Factory 0.9.4 + git-lfs、MLflow、MySQL/Postgres clients —— 供 fine-tune-with-trainer-v2.ipynb 使用的 runtimealaudadockerhub/fine_tune_with_llamafactory:v0.1.11
微调(LlamaFactory CANN)Huawei Ascend NPU (CANN 8.5)LLaMA-Factory 0.9.4 + torch_npu 2.6 + git-lfs —— LlamaFactory 微调镜像的 NPU 对应版本alaudadockerhub/fine_tune_with_llamafactory_npu:v0.9.4-cann_8.5.0-torch_2.6.0-v2
Workbench PyTorch CANNHuawei Ascend NPU (CANN 8.5)Jupyter + PyTorch 2.9 + torch_npu 2.9 + MindSpeed-LLM —— 用于 Ascend NPU 微调 / 预训练 notebooks 和 fine-tune-with-trainer-v2-mindspeed-npu.ipynbalaudadockerhub/alauda-workbench-jupyter-pytorch-cann-py312-ubi9:v0.1.7
Workbench MindSpore CANNHuawei Ascend NPU (CANN 8.5)Jupyter + MindSpore 2.8 + msadapter + 内置 MindSpeed-Core-MS(MindSpeed + MindSpeed-LLM + Megatron-LM + 位于 /opt/app-root/share/MindSpeed-Core-MS/ 的 MSAdapter 源码树)—— 由 qwen3_0.6b_finetune_verify.ipynb 使用alaudadockerhub/alauda-workbench-jupyter-mindspore-cann-py312-ubi9:v0.1.7
torch-distributedNVIDIA GPU (CUDA 12.6)PyTorch 2.9.1 + torchvision distributed-training 基础镜像 —— Kubeflow Trainer 快速开始 中引用的 ClusterTrainingRuntimealaudadockerhub/torch-distributed:v2.9.1-aml2

CUDA 镜像仅支持 amd64;CANN 镜像仅支持 arm64。

docker pull alaudadockerhub/torch2.6-cu126-amd64:v0.1.0

选择运行时

  • GPU 上的 torchrun → torch2.6-cu126-amd64
  • NPU 上的 torchrun → torch2.6-cann8.5-arm64(设置 runtimeClassName: ascend)
  • 使用 LLaMA-Factory 进行 LLM SFT / LoRA → llamafactory0.9-cu126-amd64(GPU)或 llamafactory0.9-cann8.5-arm64(NPU)
  • TRL / PEFT SFT / OSFT / DPO → traininghub0.1-cu126-amd64
  • Ascend 上的 Megatron 风格训练 → mindspeed-llm-cann8.5-arm64

应用 TrainingRuntime

可直接应用的 YAML 位于 assets/training-runtimes/。每个 YAML 都固定为 :v0.1.0;如需跟踪其他发布版本,请覆盖 tag。这些 YAML 默认使用 Kubeflow Profile 的 namespace —— 请将 metadata.namespace 修改为你提交作业所在的 namespace。

base=https://raw.githubusercontent.com/alauda/aml-docs/master/docs/en/training_guides/assets/training-runtimes
# NVIDIA GPU
kubectl apply -f $base/torch2.6-cu126-amd64-trainingruntime.yaml
kubectl apply -f $base/llamafactory0.9-cu126-amd64-trainingruntime.yaml
kubectl apply -f $base/traininghub0.1-cu126-amd64-trainingruntime.yaml
# Huawei Ascend NPU
kubectl apply -f $base/torch2.6-cann8.5-arm64-trainingruntime.yaml
kubectl apply -f $base/llamafactory0.9-cann8.5-arm64-trainingruntime.yaml
kubectl apply -f $base/mindspeed-llm-cann8.5-arm64-trainingruntime.yaml

提交 TrainJob

一个共享的冒烟测试模板适用于任何运行时 —— 将 spec.runtimeRef.name 设置为你要验证的运行时:

kubectl apply -f $base/trainjob-smoke.yaml
kubectl -n <your-namespace> get trainjobs
trainjob=$(kubectl -n <your-namespace> get trainjobs -o name | tail -1)
kubectl -n <your-namespace> logs -f -l jobset.sigs.k8s.io/jobset-name=${trainjob##*/}-node

设备资源请求

NVIDIA GPU

整卡请求:

resources:
  limits:
    nvidia.com/gpu: 1

HAMI 虚拟 GPU 切片:

resources:
  limits:
    nvidia.com/gpualloc: 1    # virtual GPU slot
    nvidia.com/gpucores: 50   # 50% of one physical GPU
    nvidia.com/gpumem: "8192" # 8 GiB

Huawei Ascend NPU

始终设置 runtimeClassName: ascend,这样会注入宿主机驱动库和 DCMI sockets。

标准 Huawei 设备插件:

spec:
  runtimeClassName: ascend
  containers:
    - resources:
        limits:
          huawei.com/Ascend910: "1"

HAMI vNPU(每个 910B4 切分为 20 个核心 / 32 GiB):

spec:
  schedulerName: hami-scheduler
  runtimeClassName: ascend
  containers:
    - resources:
        limits:
          huawei.com/Ascend910B4: "1"
          huawei.com/Ascend910B4-memory: "8192"

使用 HAMI 时,allocatable.huawei.com/Ascend910B4 读取为 0,因为 HAMI 通过其 scheduler extender 进行分配。如果 pod 一直处于 Pending 且提示 hami-scheduler: 1 node unregistered,请确认宿主机驱动已加载(/sys/bus/pci/drivers/davinci、npu-smi info 状态正常),并且节点已打上 ascend=on 标签。

镜像注意事项

  • 所有 CANN 镜像 —— runtimeClassName: ascend 会绑定挂载宿主机的 /usr/local/Ascend,但不会导出 CANN 环境变量(LD_LIBRARY_PATH、ASCEND_HOME_PATH、…)。任何导入 torch_npu 的入口命令都必须先执行 source /usr/local/Ascend/ascend-toolkit/set_env.sh(可选再执行 /usr/local/Ascend/nnal/atb/set_env.sh);否则导入会因 libhccl.so: cannot open shared object file 失败。已发布的 runtime YAML 已经包含这些步骤——请在任何派生 runtime 中保留这些 source 行。
  • traininghub0.1-cu126-amd64 —— 镜像包含 CUDA runtime,但不包含 toolkit。DeepSpeed JIT op 编译需要 nvcc;如果使用这些 op,请挂载或安装 nvidia-cuda-toolkit,并设置 CUDA_HOME。
  • mindspeed-llm-cann8.5-arm64 —— megatron.core 需要 pkg_resources,因此请在 job 入口命令中安装 setuptools<81。当前 import mindspeed_llm 会因 mindspeed_llm master / core_r0.8.0 不匹配而失败;底层的 torch + torch_npu + megatron.core + mindspeed 栈无需该适配 shim 即可正常训练。

自行构建

Containerfiles、多架构 buildkitd 辅助工具、e2e harness 和修复后扫描证据位于 kubeflow-plugin/training-runtimes。每个框架镜像都只是 torch2.6-cu126-amd64 或 torch2.6-cann8.5-arm64 上的一层薄层,因此派生一个新的 runtime 基本上就是 FROM docker.io/alaudadockerhub/torch2.6-cu126-amd64:v0.1.0 再加上框架安装。