在 Ascend NPU 上微调和预训练 LLM
基于 Workbench 的示例,用于在带有华为 Ascend NPU 的 arm64 节点上运行全参数 SFT 和预训练。这些 notebook 会在单个连接了多个 NPU 的 workbench 容器内直接运行训练(不使用 VolcanoJob)。
这三个 notebook 都采用 先验证后扩展 的方式:默认值使用较短的序列和较少的迭代次数,便于你在扩展规模之前先确认运行时、模型加载、预处理以及分布式启动流程是否正常。PyTorch CANN 镜像内置了 Python 3.12、CANN 8.5.0、PyTorch 2.9.0 和 torch_npu 2.9.0。
开始之前
- 已安装 Ascend 驱动、CANN runtime 和 Kubernetes device plugin;你的 workbench 可以调度到
arm64Ascend 节点上。 - 对于 PyTorch 示例,建议至少准备 4 个 NPU;MindSpore notebook 针对 2× Ascend 910B 32G 进行了调优,参数为
TP=1、PP=1、MBS=2。 - 工作区使用持久化存储,并且空间足以同时容纳 HuggingFace 模型以及转换后的 Megatron / MCore 权重。
- 网络:PyTorch notebook 会在运行时从
https://gitcode.com/ascend/MindSpeed-LLM.git克隆MindSpeed-LLM。如果 workbench 无法访问该地址,请将本地副本放入工作区,并更新第一单元格中的路径。MindSpore notebook 使用的是/opt/app-root/share/MindSpeed-Core-MS下内置的源码树,不会进行任何克隆操作。
按照 创建 Workbench 创建 workbench(PyTorch CANN 或 MindSpore CANN),然后通过 JupyterLab 文件浏览器上传 notebook。
准备基础模型
每个 notebook 都期望在以下路径下提供 HuggingFace 格式模型:
你可以直接把模型文件放到这些路径下,或者在第一个参数单元格中修改 HF_MODEL_DIR。对于可版本化、可复用的模型,建议推送到平台模型仓库,然后按照 使用 Notebook 上传模型 中的方法从仓库中克隆。
这三个 notebook 都会在训练前将 HF 转换为 Megatron / MCore;因此磁盘上会额外生成一个较大的权重目录。
准备数据集
微调数据(Alpaca 风格 JSONL)
两个微调 notebook 都期望以下输入:
ALPACA_PARQUET = /opt/app-root/src/datasets/alpaca/train-00000-of-00001-a09b74b3ef9c3b56.parquetRAW_DATA_FILE = .../finetune_dataset/alpaca_sample.jsonl(位于 notebook 的工作目录下)
如果 parquet 文件存在,notebook 会自动将其转换为 JSONL。如果你已经有 JSONL 文件,可以将其放到 RAW_DATA_FILE 指定的位置,或直接修改该变量。期望的记录格式如下:
你也可以通过修改参数单元格中的 handler,将数据格式切换为 ShareGPT 或 Pairwise。
预训练数据(原始文本)
MindSpeed-LLM 的预处理支持 .parquet、.json、.jsonl 和 .txt。结构化格式需要包含 text 字段;纯文本格式则要求每行一个片段。默认路径与 ALPACA_PARQUET 相同;如果该文件不存在,notebook 会回退到内置示例,以便你仍然可以验证整个流程。
对于更大的数据集,可以挂载 PVC,或者从平台数据集仓库拉取——详见 使用 Workbench 微调 LLM。
运行 notebook
每个 notebook 的整体流程相同:
- 环境检查 — 确认可以导入
torch_npu(或mindspore+msadapter)、MindSpeed和MindSpeed-LLM,并且可用的 NPU 数量与TP × PP一致。 - 数据集准备 — 将 parquet 转换为 JSONL(或者在预训练场景下回退到内置示例)。
- HF → MCore 权重转换 — 将权重写入与
TP/PP对应的输出目录。 - 数据预处理 — 生成 MindSpeed 所需的
.bin/.idx文件。 - 训练 — SFT 使用
posttrain_gpt.py,预训练使用pretrain_gpt.py。MindSpore notebook 使用msrun,并带有--ai-framework mindspore --ckpt-format msadapter参数,日志写入到.../logs。 - 验证 — 检查
latest_checkpointed_iteration.txt,列出iter_*目录,并且(对于 PyTorch SFT)执行一次快速推理 smoke test。
MindSpore SFT notebook 与上游 Qwen3 路径保持一致:
examples/mindspore/qwen3/ckpt_convert_qwen3_hf2mcore.shexamples/mindspore/qwen3/data_convert_qwen3_instruction.shexamples/mindspore/qwen3/tune_qwen3_0point6b_4K_full_ms.sh
MindSpore 默认参数:TP=1、PP=1、MBS=2、SEQ_LENGTH=2048、TRAIN_ITERS=100、ENABLE_THINKING=true。
需要检查的参数
所有 notebook 通用的参数:
HF_MODEL_DIR、OUTPUT_DIRALPACA_PARQUET或RAW_DATA_FILETP、PP(以及 MindSpore 的MBS)SEQ_LENGTH、TRAIN_ITERSENABLE_THINKING(Qwen3)MASTER_ADDR、MASTER_PORT、NNODES、NODE_RANK(多节点 MindSpore)
在正式运行时,请将 SEQ_LENGTH 提升到模型的上下文窗口大小,将 TRAIN_ITERS 提升到生产级数值,并根据可用 NPU 数量和数据集大小调整并行度/批大小。如果你修改了 TP 或 PP,请重新运行权重转换,以确保 checkpoint 布局匹配。
输出路径
请将这些目录保留在持久化存储上。若要将结果推送到模型仓库,请使用 使用 Notebook 上传模型 中描述的 Git LFS 工作流。
说明
- 这些 notebook 运行的是 全参数 SFT,不是 LoRA。请将默认参数视为 smoke test,并在正式运行前进行调优。
- MindSpore notebook 仅验证 checkpoint 生成,不包含稳定的推理步骤。
- 对于离线/受限集群:请提前在工作区中准备好
MindSpeed-LLM仓库以及模型/数据集文件(PyTorch notebooks)。MindSpore notebook 仅使用内置源码树。