使用 Workbench 对 LLM 进行 Fine-tuning
本指南介绍如何使用从 Alauda AI Workbench 启动的 LLaMA-Factory 对 LLM(示例:Qwen3-0.6B)进行 fine-tuning。该 notebook 会向集群提交一个 VolcanoJob,因此 GPU 任务会在集群节点上运行,而你仍可以在 JupyterLab 中持续迭代。
当你需要交互式控制、自定义训练脚本以及按实验进行 YAML 微调时,可以使用本指南。若你需要可复用模板和 quota,则建议改用 Kubeflow Trainer v2。
目录
适用范围前提条件1. 创建 Notebook / VSCode 实例2. 准备基础模型3. 准备输出模型占位符4. 准备数据集HuggingFacedatasets 格式LLaMA-Factory 格式5. 运行时镜像6. 提交 fine-tuning VolcanoJobNFS workspace PVC 说明7. 管理任务8. 实验跟踪9. 发布 fine-tuned 模型在非 NVIDIA GPU 上运行其他设备上的实验跟踪适用范围
- Alauda AI 1.3 及更高版本。
- 在 x86_64 + NVIDIA GPU 上进行 LLM fine-tuning。其他模型家族(例如 YOLOv5)需要各自的镜像、脚本和数据集格式。
- NPU 集群需要与厂商技术栈兼容的运行时镜像——请参见下方的 在非 NVIDIA GPU 上运行,或 Ascend NPU 配方。
前提条件
- 已安装 Alauda AI Workbench 插件(或 Kubeflow Base + Notebook)。
- 已安装 MLflow 插件用于实验跟踪。
1. 创建 Notebook / VSCode 实例
在 Alauda AI → Workbench(或 Advanced → Kubeflow → Notebook)中创建一个 workbench。workbench 本身只需要申请 CPU——GPU 由它提交的 VolcanoJob 申请。请参见 创建 Workbench。
2. 准备基础模型
下载 Qwen/Qwen3-0.6B(或任意 HF 模型),并将其推送到平台模型仓库。请参见 使用 Notebook 上传模型。
3. 准备输出模型占位符
在模型仓库中创建一个空模型条目,用于接收 fine-tuning 后的输出,并记录其 Git URL。
4. 准备数据集
使用 示例 identity 数据集,该数据集会训练模型回答“你是谁?”。在 Datasets → Dataset Repository 下创建一个空的数据集仓库,然后对解压后的文件执行 git lfs push。刷新后,仓库文件列表应显示已上传内容。
数据集格式必须与 fine-tuning 框架的预期格式一致。
HuggingFace datasets 格式
LLaMA-Factory 格式
如果你使用 LLaMA-Factory,请使用其期望的目录结构——请参见 data_preparation。
5. 运行时镜像
使用预构建的 alaudadockerhub/fine_tune_with_llamafactory:v0.1.1,或者自行构建。镜像中必须包含 git lfs,以便拉取和推送模型 / 数据集。
Containerfile
6. 提交 fine-tuning VolcanoJob
创建一个 YAML,并在 notebook 终端中使用 kubectl create -f vcjob_sft.yaml 提交。(使用 JupyterLab 上传器将 kubectl 二进制文件放入 workbench——该镜像不包含它。)
VolcanoJob YAML
提交前需要修改的内容:
- 将
BASE_MODEL_URL、DATASET_URL、OUTPUT_MODEL_URL替换为你的仓库 Git URL。 models-cachePVC —— 提前创建好。多个实验之间复用它,以避免重复下载基础模型。- 共享内存
dshm—— 多 GPU 场景下至少 4 GiB。 - CPU / memory / GPU 的
requests和limits—— 与集群的 device-plugin 匹配(例如nvidia.com/gpu、nvidia.com/gpualloc)。 - 超参数 —— LLaMA-Factory 的 YAML 直接内联在脚本中。把经常调整的参数提取为环境变量。
NFS workspace PVC 说明
如果 PVC 后端是 NFS:
-
任何可能挂载该 PVC 的节点都需要安装
nfs-utils(yum install -y nfs-utils)。 -
在 StorageClass 上设置
mountPermissions: "0757":
7. 管理任务
成功后,合并后的模型会被推送到输出仓库中按日期命名的分支(sft-YYYYMMDD-HHMMSS)——发布时请选择该分支。
8. 实验跟踪
在 LLaMA-Factory 配置中设置 report_to: mlflow,并配置 MLFLOW_TRACKING_URI / MLFLOW_EXPERIMENT_NAME 环境变量,即可将指标路由到 MLflow。在 Alauda AI → Advanced → MLFlow 中查找运行记录,对比 loss 曲线,并固定最佳运行结果。
9. 发布 fine-tuned 模型
该示例使用 LoRA,并在推送前将 adapter 合并到基础模型中。当前尚不支持由 base + adapter 组合直接提供推理服务。
- 在 Model Repository → fine-tuned 输出模型 → Model Info → File Management → Edit Metadata 中,将 Task Type 设置为 Text Classification,Framework 设置为 Transformers。
- 选择 Publish Inference API → Custom Publishing。
- 选择与集群 CUDA 版本匹配的 vLLM 运行时,填写存储 / 资源 / GPU 设置,然后点击 Publish。
- 运行起来后,点击 Experience 与模型对话(仅当模型包含
chat_template时可用)。
在非 NVIDIA GPU 上运行
适用于 Huawei Ascend NPU、Intel Gaudi、AMD 等。使用 PyTorch CANN + MindSpeed-LLM 的 Ascend NPU 配方已记录在 在 Ascend NPU 上 fine-tune 和 pretrain LLMs 中。
通用步骤如下:
- 前提条件:已部署厂商驱动和 Kubernetes device plugin,且设备对 Pod 可见。记录资源名称(例如
huawei.com/Ascend910: "1")。 - 收集厂商方案——文档、fine-tuning 镜像、支持的模型、示例数据以及启动命令 / 参数。
- (可选)先端到端验证厂商方案,以排除方案侧问题。
- (可选)先用一个基础 Kubernetes Job 封装它,在加入 Volcano 之前先确认 device plugin 在 K8s 下工作正常。
- 以 VolcanoJob 运行,并使用下面的 YAML 作为起点。
VolcanoJob YAML(厂商模板)
其他设备上的实验跟踪
LLaMA-Factory 和 Transformers 可直接与 MLflow / wandb 集成。在框架配置中设置目标(例如 LLaMA-Factory 的 report_to: mlflow),并提供 MLFLOW_TRACKING_URI 和 MLFLOW_EXPERIMENT_NAME 环境变量。在 Alauda AI → Advanced → MLFlow 下查看结果。