在 GPU 上训练并在 NPU 上运行推理
训练和推理可以使用不同类型的加速器。本页面是以下工作流的索引:在 NVIDIA GPU 上微调或训练模型,并在 Huawei Ascend NPU 上为兼容的导出模型提供服务。本页面不替代链接的指南,也不提供部署步骤。
目录
支持用于 NPU 推理的模型制品在 GPU 上微调 LLM 并在 NPU 上运行 LLM 推理微调方法如何影响 NPU 推理在 GPU 上训练机器学习模型并在 NPU 上运行推理经过验证的 Ascend ModelZoo 推理冒烟测试支持用于 NPU 推理的模型制品
所选 NPU 运行时决定了其可以加载的制品。以下是所引用 NPU 服务指南涵盖的模型表示形式;它们并不是适用于每种 Ascend 设备、模型架构或运行时版本的通用兼容性矩阵。
transformers 位于 InferenceService 或 ClusterServingRuntime 中时,表示运行时所需的模型目录格式。它本身并不表示所有精度或量化方法都受支持。创建推理服务之前,请根据官方 Ascend ModelZoo 以及所选服务引擎的受支持模型文档(例如 vLLM-Ascend 受支持模型矩阵 和模型教程),检查确切的模型和目标 NPU SKU。然后在目标环境中验证权重表示形式、服务镜像、CANN 版本和 driver。
在 GPU 上微调 LLM 并在 NPU 上运行 LLM 推理
使用以下指南之一在 GPU 上微调 LLM:
- 使用 Kubeflow Trainer v2 进行微调:适用于可复用的
TrainingRuntime和TrainJob工作流。 - 使用 Training Hub 微调 LLM:适用于 SFT、OSFT、LoRA、QLoRA 和持续预训练工作流。
- 训练运行时镜像:用于选择 CUDA 训练运行时。
微调方法如何影响 NPU 推理
训练或对齐方法本身并不能决定结果是否可以在 NPU 上运行。部署时真正重要的是最终生成的模型架构、checkpoint 或 adapter 格式、权重精度或量化方式、tokenizer 和配置,以及 NPU 服务运行时支持的版本。
微调方法也可以组合使用,例如先进行 CPT 再进行 SFT,或使用 LoRA 进行 DPO。应评估最终制品,而不是训练算法的顺序。如果最终模型经过量化,请在 vLLM-Ascend 量化指南中确认确切的方法;支持一种量化方案并不意味着支持另一种方案。
将微调后的模型发布到平台使用的模型存储位置后,请使用扩展推理运行时中的 NPU 服务指南。其中的 vLLM-ascend 部分介绍 Ascend NPU 运行时和 InferenceService 配置。有关平台范围的服务生命周期和运维,请参阅管理推理服务。
在将 GPU 训练的模型迁移到 NPU 服务环境之前,请验证导出的模型、所选 NPU 服务引擎、CANN 栈、tokenizer 和模型存储格式彼此兼容。
在 GPU 上训练机器学习模型并在 NPU 上运行推理
如需端到端的目标检测示例,请参阅训练、微调和部署 YOLOv5。该指南涵盖使用 Kubeflow Trainer v2 进行 GPU 训练,以及两种 Ascend NPU 推理方案:
- 使用自定义 KServe 运行时,通过
torch_npu提供导出的 TorchScript 模型。 - 使用原生 CANN 路径,通过 ATC 将 YOLOv5 ONNX 模型转换为
.om模型,并通过 CANNacl/pyACLAPI 执行。
YOLOv5 指南还记录了经过验证的 CANN 编译器镜像和 NPU 环境。对于类似的机器学习模型,可将其作为制品转换、模型存储和 NPU 运行时兼容性的参考。
对于没有现成 NPU 服务运行时的已训练机器学习模型,请创建自定义 InferenceService:在兼容 CANN 的镜像中打包 FastAPI 应用,使用 torch_npu 加载导出的 TorchScript 模型,并开放 KServe v2 健康检查和推理端点。YOLOv5 torch_npu 示例展示了这种模式。或者,先查阅官方 Ascend CANN 文档和 Ascend ModelZoo,确认是否有适用于该确切模型且受 CANN acl/pyACL支持的推理方法。如果支持,请导出为所需的交换格式;如有要求,则针对目标 NPU SKU 编译模型,并使用匹配的 CANN 服务实现进行部署。不要假设 GPU 训练制品可以不经修改直接在 NPU 上运行。
经过验证的 Ascend ModelZoo 推理冒烟测试
以下 ModelZoo-PyTorch 示例于 2026 年 8 月 14 日在 Ascend 910B4 NPU 上通过了仅推理 HTTP 冒烟测试。检出版本为 ModelZoo-PyTorch commit a3c42931e0a70f7366416d4e1fc6222d1ef923a2。
这些结果验证了模型加载、NPU 执行和 HTTP 推理边界,但不代表准确率、吞吐量或生产就绪状态。DLRM、ESPnet2 和 DiT 使用确定性初始化权重;bge-reranker-v2-m3 使用其官方 checkpoint;MinerU 使用小型合成 PDF。请使用生产权重、输入、目标 NPU SKU 和软件栈对每个模型重新进行验证。