使用 Kubeflow Trainer v2 进行微调

使用 Kubeflow Trainer v2 在 Kubernetes 上通过 LlamaFactory 运行监督微调。

Trainer v2 将作业拆分为可复用的 TrainingRuntime(镜像 + pipeline 步骤 + LlamaFactory 配置)以及按实验运行的 TrainJob,后者只覆盖发生变化的内容(模型、数据集、超参数、GPU 资源)。

前提条件

要求详情
Kubeflow Trainer v2可用 trainer.kubeflow.org API group
Kueue可选;用于作业排队和配额
共享 PVC在所有训练 Pod 上提供 RWX 或正确配置的 RWO
Git 凭证Secret aml-image-builder-secret,包含 MODEL_REPO_GIT_USER 和 MODEL_REPO_GIT_TOKEN
GPU 节点NVIDIA GPUs;调整 nodeSelector 以匹配你的节点
kubectl 访问权限可在你的命名空间中管理 trainingruntimes 和 trainjobs 的权限

如果遇到 RBAC 错误,请让集群管理员为你的 workbench ServiceAccount 授予目标命名空间中 trainjobs 和 trainingruntimes 的读写权限(示例角色:apiGroups: ["trainer.kubeflow.org"], resources: ["trainjobs","trainingruntimes"])。

构建或使用预构建镜像

可以使用 alaudadockerhub/fine_tune_with_llamafactory:v0.1.11,也可以根据 assets/build-train-image/ 下的 Containerfile 自行构建。

运行示例 notebook

将 fine-tune-with-trainer-v2.ipynb 下载到你的 workbench 中,并按照各个单元格执行。该 notebook 会创建一个 TrainingRuntime,然后提交一个挂载共享 PVC 并使用 aml-image-builder-secret 的 TrainJob。

对于 Huawei Ascend NPU,请改用 fine-tune-with-trainer-v2-mindspeed-npu.ipynb —— 它会在 huawei.com/Ascend910B4 资源上,使用 runtimeClassName: ascend 运行 MindSpeed-LLM SFT pipeline(HF → MCore checkpoint,预处理,训练)。

使用 Kueue 进行调度

当安装了 Kueue 后,TrainJob 会一直处于 suspended 状态,直到 Kueue 根据已配置的 ClusterQueue 配额批准它们。可直接应用的 YAML 位于 assets/kueue/:

base=https://raw.githubusercontent.com/alauda/aml-docs/master/docs/en/training_guides/assets/kueue
NS=my-namespace  # edit to the namespace where you submit jobs
# 1. Cluster admin — one ResourceFlavor + one ClusterQueue (edit nominalQuota to taste)
kubectl apply -f $base/cluster-queue.yaml
# 2. Namespace admin — LocalQueue pointing at the ClusterQueue
curl -fsSL $base/local-queue.yaml | sed "s/<your-namespace>/$NS/" | kubectl apply -f -
# 3. Submit a TrainJob labelled with the queue name; Kueue admits it
curl -fsSL $base/trainjob-kueue-example.yaml | sed "s/<your-namespace>/$NS/" | kubectl create -f -

这三个文件分别如下:

  • cluster-queue.yaml — 一个 ResourceFlavor 加上一个覆盖 cpu / memory / nvidia.com/gpu 的 ClusterQueue。集群管理员为每个配额池应用一次即可。
  • local-queue.yaml — 一个命名空间级的 LocalQueue,引用 cluster-queue。命名空间管理员为每个命名空间应用一次即可。
  • trainjob-kueue-example.yaml — 一个带有 kueue.x-k8s.io/queue-name: local-queue 标签的 TrainJob。在 Kueue 批准之前,TrainJob 会保持 Suspended;一旦批准,JobSet 就会拉起 trainer Pod。

完整设置请参阅 Kueue 文档。

NOTE

当 Kueue 的 PodsReady timeout 较短而训练镜像较大时,第一次尝试可能会因为镜像拉取超时而被驱逐。通常重新提交即可成功,因为镜像已经缓存在节点上。