使用 Training Hub 对 LLM 进行微调
training_hub 是一个 Python 库,通过单个函数调用(sft(...)、osft(...))封装了监督式微调(Supervised Fine-Tuning, SFT)和正交子空间微调(Orthogonal Subspace Fine-Tuning, OSFT),可统一处理单 GPU、多 GPU 和多节点训练。
- 自动内存管理 —
max_tokens_per_gpu限制 GPU 内存占用,并自动计算 micro-batch size 和 gradient accumulation,以达到目标effective_batch_size。 - OSFT 实现了 Nayak et al., 2025 (arXiv:2504 .07097)——将权重更新限制在正交子空间中,可在无需回放数据的情况下防止灾难性遗忘。
- 内置检查点保存、实验跟踪以及 Liger kernel 支持。
Requirements
- 你的集群中已安装 Alauda AI Workbench。
- 一个具备互联网访问(或内部 PyPI 镜像)、至少一块 NVIDIA GPU,以及用于保存检查点的持久化存储的 workbench。
- HuggingFace 模型名称或本地路径。
- JSONL 格式的训练数据(见下文)。
Data format
每一行都是一段对话:
角色:system、user、assistant、pretraining。掩码:
- SFT(默认)——仅
assistant内容参与 loss 计算。向样本中添加"unmask": true即可包含所有非 system 内容。 - OSFT——由
unmask_messages控制(默认False)。
如果数据已包含 input_ids / labels,可通过 use_processed_dataset=True 支持预分词数据集。
运行示例 notebook
下载到你的 workbench 中并逐个单元格执行:
安装并配置:
NOTE
在预构建的 traininghub0.1-cu126-amd64:v0.1.0 运行时镜像上,请在全新的 venv 中安装 training-hub —— pip install --user training-hub 会将 transformers 升级到与内置 peft 不兼容的版本:
编辑参数单元格:
内置模型预设覆盖 Qwen 2.5 7B、Llama 3.1 8B、Phi 4 Mini,以及通用 7B / 小型模型。
运行所有单元格。最后的训练单元格调用:
每个 epoch 结束后,检查点会保存到 ckpt_output_dir 中(由 checkpoint_at_epoch 控制)。
Key parameters
通用(SFT 和 OSFT):
仅 OSFT:
Multi-node
在每个节点上使用相同的 rdzv_id / rdzv_endpoint,并设置不同的 node_rank 运行 notebook(或脚本):
训练开始前,所有节点都需要能够访问 rdzv_endpoint。