在 Ascend NPU 上微调和预训练 LLM

基于 Workbench 的示例,用于在带有华为 Ascend NPU 的 arm64 节点上运行全参数 SFT 和预训练。这些 notebook 会在单个连接了多个 NPU 的 workbench 容器内直接运行训练(不使用 VolcanoJob)。

NotebookWorkbench imageWorkload
qwen3_finetune_verify.ipynbPyTorch CANNQwen3-8B 的全参数 SFT(MindSpeed-LLM)
qwen25_pretrain_verify.ipynbPyTorch CANNQwen2.5-7B 的预训练(MindSpeed-LLM)
qwen3_0.6b_finetune_verify.ipynbMindSpore CANNQwen3-0.6B 的全参数 SFT(内置 MindSpeed-Core-MS + MindSpeed-LLM)

这三个 notebook 都采用 先验证后扩展 的方式:默认值使用较短的序列和较少的迭代次数,便于你在扩展规模之前先确认运行时、模型加载、预处理以及分布式启动流程是否正常。PyTorch CANN 镜像内置了 Python 3.12、CANN 8.5.0、PyTorch 2.9.0 和 torch_npu 2.9.0。

开始之前

  • 已安装 Ascend 驱动、CANN runtime 和 Kubernetes device plugin;你的 workbench 可以调度到 arm64 Ascend 节点上。
  • 对于 PyTorch 示例,建议至少准备 4 个 NPU;MindSpore notebook 针对 2× Ascend 910B 32G 进行了调优,参数为 TP=1、PP=1、MBS=2。
  • 工作区使用持久化存储,并且空间足以同时容纳 HuggingFace 模型以及转换后的 Megatron / MCore 权重。
  • 网络:PyTorch notebook 会在运行时从 https://gitcode.com/ascend/MindSpeed-LLM.git 克隆 MindSpeed-LLM。如果 workbench 无法访问该地址,请将本地副本放入工作区,并更新第一单元格中的路径。MindSpore notebook 使用的是 /opt/app-root/share/MindSpeed-Core-MS 下内置的源码树,不会进行任何克隆操作。

按照 创建 Workbench 创建 workbench(PyTorch CANN 或 MindSpore CANN),然后通过 JupyterLab 文件浏览器上传 notebook。

准备基础模型

每个 notebook 都期望在以下路径下提供 HuggingFace 格式模型:

NotebookHF_MODEL_DIR 默认值
Fine-tuning/opt/app-root/src/models/Qwen3-8B
Pretraining/opt/app-root/src/models/Qwen2.5-7B
MindSpore SFT/opt/app-root/src/models/Qwen3-0.6B

你可以直接把模型文件放到这些路径下,或者在第一个参数单元格中修改 HF_MODEL_DIR。对于可版本化、可复用的模型,建议推送到平台模型仓库,然后按照 使用 Notebook 上传模型 中的方法从仓库中克隆。

这三个 notebook 都会在训练前将 HF 转换为 Megatron / MCore;因此磁盘上会额外生成一个较大的权重目录。

准备数据集

微调数据(Alpaca 风格 JSONL)

两个微调 notebook 都期望以下输入:

  • ALPACA_PARQUET = /opt/app-root/src/datasets/alpaca/train-00000-of-00001-a09b74b3ef9c3b56.parquet
  • RAW_DATA_FILE = .../finetune_dataset/alpaca_sample.jsonl(位于 notebook 的工作目录下)

如果 parquet 文件存在,notebook 会自动将其转换为 JSONL。如果你已经有 JSONL 文件,可以将其放到 RAW_DATA_FILE 指定的位置,或直接修改该变量。期望的记录格式如下:

{"instruction": "...", "input": "...", "output": "..."}

你也可以通过修改参数单元格中的 handler,将数据格式切换为 ShareGPT 或 Pairwise。

预训练数据(原始文本)

MindSpeed-LLM 的预处理支持 .parquet、.json、.jsonl 和 .txt。结构化格式需要包含 text 字段;纯文本格式则要求每行一个片段。默认路径与 ALPACA_PARQUET 相同;如果该文件不存在,notebook 会回退到内置示例,以便你仍然可以验证整个流程。

对于更大的数据集,可以挂载 PVC,或者从平台数据集仓库拉取——详见 使用 Workbench 微调 LLM。

运行 notebook

每个 notebook 的整体流程相同:

  1. 环境检查 — 确认可以导入 torch_npu(或 mindspore + msadapter)、MindSpeed 和 MindSpeed-LLM,并且可用的 NPU 数量与 TP × PP 一致。
  2. 数据集准备 — 将 parquet 转换为 JSONL(或者在预训练场景下回退到内置示例)。
  3. HF → MCore 权重转换 — 将权重写入与 TP/PP 对应的输出目录。
  4. 数据预处理 — 生成 MindSpeed 所需的 .bin / .idx 文件。
  5. 训练 — SFT 使用 posttrain_gpt.py,预训练使用 pretrain_gpt.py。MindSpore notebook 使用 msrun,并带有 --ai-framework mindspore --ckpt-format msadapter 参数,日志写入到 .../logs。
  6. 验证 — 检查 latest_checkpointed_iteration.txt,列出 iter_* 目录,并且(对于 PyTorch SFT)执行一次快速推理 smoke test。

MindSpore SFT notebook 与上游 Qwen3 路径保持一致:

  • examples/mindspore/qwen3/ckpt_convert_qwen3_hf2mcore.sh
  • examples/mindspore/qwen3/data_convert_qwen3_instruction.sh
  • examples/mindspore/qwen3/tune_qwen3_0point6b_4K_full_ms.sh

MindSpore 默认参数:TP=1、PP=1、MBS=2、SEQ_LENGTH=2048、TRAIN_ITERS=100、ENABLE_THINKING=true。

需要检查的参数

所有 notebook 通用的参数:

  • HF_MODEL_DIR、OUTPUT_DIR
  • ALPACA_PARQUET 或 RAW_DATA_FILE
  • TP、PP(以及 MindSpore 的 MBS)
  • SEQ_LENGTH、TRAIN_ITERS
  • ENABLE_THINKING(Qwen3)
  • MASTER_ADDR、MASTER_PORT、NNODES、NODE_RANK(多节点 MindSpore)

在正式运行时,请将 SEQ_LENGTH 提升到模型的上下文窗口大小,将 TRAIN_ITERS 提升到生产级数值,并根据可用 NPU 数量和数据集大小调整并行度/批大小。如果你修改了 TP 或 PP,请重新运行权重转换,以确保 checkpoint 布局匹配。

输出路径

Notebook默认输出
qwen3_finetune_verify.ipynb/opt/app-root/src/Qwen3-8B-work-dir/output/qwen3_8b_finetuned
qwen25_pretrain_verify.ipynb/opt/app-root/src/Qwen2.5-7B-work-dir/output/qwen25_7b_pretrained
qwen3_0.6b_finetune_verify.ipynb/opt/app-root/src/Qwen3-0.6B-work-dir/output/qwen3_0.6b_finetuned

请将这些目录保留在持久化存储上。若要将结果推送到模型仓库,请使用 使用 Notebook 上传模型 中描述的 Git LFS 工作流。

说明

  • 这些 notebook 运行的是 全参数 SFT,不是 LoRA。请将默认参数视为 smoke test,并在正式运行前进行调优。
  • MindSpore notebook 仅验证 checkpoint 生成,不包含稳定的推理步骤。
  • 对于离线/受限集群:请提前在工作区中准备好 MindSpeed-LLM 仓库以及模型/数据集文件(PyTorch notebooks)。MindSpore notebook 仅使用内置源码树。