在 GPU 上训练并在 NPU 上运行推理

训练和推理可以使用不同类型的加速器。本页面是以下工作流的索引:在 NVIDIA GPU 上微调或训练模型,并在 Huawei Ascend NPU 上为兼容的导出模型提供服务。本页面不替代链接的指南,也不提供部署步骤。

支持用于 NPU 推理的模型制品

所选 NPU 运行时决定了其可以加载的制品。以下是所引用 NPU 服务指南涵盖的模型表示形式;它们并不是适用于每种 Ascend 设备、模型架构或运行时版本的通用兼容性矩阵。

工作负载模型制品或表示形式NPU 服务路径和兼容性说明
LLM包含配置和 tokenizer 文件以及 FP16 或 BF16 .safetensors 权重的 Hugging Face 模型目录使用兼容的 vLLM-ascend 运行时,并采用 transformers 模型格式为其提供服务。模型架构、所选运行时镜像和 CANN 栈必须支持该模型和精度。
LLMW8A8 量化模型包仅使用兼容的 vLLM-Ascend/model 组合及其所需的量化配置为其提供服务。有关经过验证的 W8A8 示例,请参阅 Qwen3.6-27B (W8A8)。
LLM单文件 GGUF 模型文档所述的 vLLM-ascend 运行时可以检测单个 .gguf 文件。该加载器不支持多文件 GGUF 包。
机器学习TorchScript .pt 模型YOLOv5 示例使用 torch_npu 加载导出的模型。该模型必须与服务镜像中的 PyTorch 和 CANN 版本兼容。
机器学习ONNX .onnx 模型YOLOv5 原生 CANN 路径使用 ONNX 作为 ATC 转换的输入;在该路径中,ONNX 不是实际部署的可执行文件。
机器学习CANN 离线 .om 模型在为目标 Ascend SKU 以及兼容的 CANN/driver 栈完成编译后,通过基于 CANN acl/pyACL 的服务进行部署。

transformers 位于 InferenceService 或 ClusterServingRuntime 中时,表示运行时所需的模型目录格式。它本身并不表示所有精度或量化方法都受支持。创建推理服务之前,请根据官方 Ascend ModelZoo 以及所选服务引擎的受支持模型文档(例如 vLLM-Ascend 受支持模型矩阵 和模型教程),检查确切的模型和目标 NPU SKU。然后在目标环境中验证权重表示形式、服务镜像、CANN 版本和 driver。

在 GPU 上微调 LLM 并在 NPU 上运行 LLM 推理

使用以下指南之一在 GPU 上微调 LLM:

微调方法如何影响 NPU 推理

训练或对齐方法本身并不能决定结果是否可以在 NPU 上运行。部署时真正重要的是最终生成的模型架构、checkpoint 或 adapter 格式、权重精度或量化方式、tokenizer 和配置,以及 NPU 服务运行时支持的版本。

微调或对齐方法典型输出NPU 部署提示
持续预训练(CPT)或全参数 SFT完整的 Hugging Face checkpoint按基础架构处理。只有在所选 vLLM-Ascend 版本支持该架构、配置、权重 dtype 和目标硬件时,才能为其提供服务。
LoRA 或其他参数高效 SFT 方法adapter 加上未更改的基础模型vLLM-Ascend 提供实验性 LoRA 支持。请检查确切的基础模型和功能限制。如有必要,将 adapter 合并到基础模型中,并导出受支持的 FP16 或 BF16 checkpoint。
QLoRA通常是在冻结的基础模型以 4-bit NF4 加载时训练的 LoRA adapterbitsandbytes NF4 训练表示形式不是可移植的 NPU 推理制品。仅当运行时支持该 LoRA 组合时,才能将 adapter 与受支持的全精度基础模型结合提供服务;或者将其合并到全精度基础模型中,然后导出或量化为 vLLM-Ascend 支持的格式。
偏好优化或强化学习后训练,包括 DPO、PPO 和 GRPO完整的策略模型 checkpoint 或参数高效 adapter,具体取决于训练配置根据上文相应的完整模型或 LoRA 指南部署生成的策略 checkpoint 或 adapter。仅在训练期间使用的优化器状态、参考模型、critic、value head 和 reward model 不属于生成式推理制品。

微调方法也可以组合使用,例如先进行 CPT 再进行 SFT,或使用 LoRA 进行 DPO。应评估最终制品,而不是训练算法的顺序。如果最终模型经过量化,请在 vLLM-Ascend 量化指南中确认确切的方法;支持一种量化方案并不意味着支持另一种方案。

将微调后的模型发布到平台使用的模型存储位置后,请使用扩展推理运行时中的 NPU 服务指南。其中的 vLLM-ascend 部分介绍 Ascend NPU 运行时和 InferenceService 配置。有关平台范围的服务生命周期和运维,请参阅管理推理服务。

在将 GPU 训练的模型迁移到 NPU 服务环境之前,请验证导出的模型、所选 NPU 服务引擎、CANN 栈、tokenizer 和模型存储格式彼此兼容。

在 GPU 上训练机器学习模型并在 NPU 上运行推理

如需端到端的目标检测示例,请参阅训练、微调和部署 YOLOv5。该指南涵盖使用 Kubeflow Trainer v2 进行 GPU 训练,以及两种 Ascend NPU 推理方案:

  • 使用自定义 KServe 运行时,通过 torch_npu 提供导出的 TorchScript 模型。
  • 使用原生 CANN 路径,通过 ATC 将 YOLOv5 ONNX 模型转换为 .om 模型,并通过 CANN acl/pyACL API 执行。

YOLOv5 指南还记录了经过验证的 CANN 编译器镜像和 NPU 环境。对于类似的机器学习模型,可将其作为制品转换、模型存储和 NPU 运行时兼容性的参考。

对于没有现成 NPU 服务运行时的已训练机器学习模型,请创建自定义 InferenceService:在兼容 CANN 的镜像中打包 FastAPI 应用,使用 torch_npu 加载导出的 TorchScript 模型,并开放 KServe v2 健康检查和推理端点。YOLOv5 torch_npu 示例展示了这种模式。或者,先查阅官方 Ascend CANN 文档和 Ascend ModelZoo,确认是否有适用于该确切模型且受 CANN acl/pyACL支持的推理方法。如果支持,请导出为所需的交换格式;如有要求,则针对目标 NPU SKU 编译模型,并使用匹配的 CANN 服务实现进行部署。不要假设 GPU 训练制品可以不经修改直接在 NPU 上运行。

经过验证的 Ascend ModelZoo 推理冒烟测试

以下 ModelZoo-PyTorch 示例于 2026 年 8 月 14 日在 Ascend 910B4 NPU 上通过了仅推理 HTTP 冒烟测试。检出版本为 ModelZoo-PyTorch commit a3c42931e0a70f7366416d4e1fc6222d1ef923a2。

ModelZoo 示例已验证的推理路径结果
DLRM_for_PyTorchtorch_npuHTTP 推理通过,输出形状为 [2, 1]。
ESPnet2_for_PyTorchtorch_npuHTTP 推理通过,编码器输出形状为 [1, 16];NPU 专用的 npu_bmmV2 路径已执行。
MinerUtorch_npu 上的 MinerU 管道官方 /file_parse 请求通过;布局分析、OCR 检测和 OCR 识别均在 NPU 上执行。
bge-reranker-v2-m3使用 ModelZoo 重写的 torch_npu官方 checkpoint 已加载,并返回了预期的排序结果。
DiTONNX 转换为 .om,然后使用 pyACL编译后的 .om 模型返回 HTTP 200,输出形状为 [1, 8, 32, 32]。

这些结果验证了模型加载、NPU 执行和 HTTP 推理边界,但不代表准确率、吞吐量或生产就绪状态。DLRM、ESPnet2 和 DiT 使用确定性初始化权重;bge-reranker-v2-m3 使用其官方 checkpoint;MinerU 使用小型合成 PDF。请使用生产权重、输入、目标 NPU SKU 和软件栈对每个模型重新进行验证。