已验证的模型

为 Alauda AI Platform 上已验证的开放权重 LLM提供可直接部署的配置方案。本指南中的每个模型都已在真实集群上完成端到端部署和基准测试,因此你可以获得经过验证的部署清单、用于提供服务的运行时镜像,以及预期吞吐量。

本指南中的模型已在Huawei Ascend NPU(910B4 和 910B3)上通过 Community vLLM-Ascend 引擎完成验证,并通过 Alauda AI Platform 的 InferNex 界面部署——KServe LLMInferenceService 经 InferNex-Bridge 协调后,形成一个位于 vLLM-Ascend 实例前方的感知负载路由器(hermes-router / EPP)。大多数模型均通过相同的 InferNex 聚合界面和相同的两种基准测试场景运行(两个 Qwen 模型共享完全相同的 2 × TP=4 拓扑,可直接比较;DeepSeek-V4-Flash 和 MiniMax-M2.5 使用规模更大的 MoE 拓扑,最多采用 16 卡 DP2 × TP=8 跨节点聚合)。有关运行时模型(KServe、ModelCar 存储和调度),请参阅 部署。

Qwen3.8-27B 和 Gemma-4-31B-it(NVFP4)已在 NVIDIA 上完成验证:各自在一张 RTX PRO 6000 Blackwell 上使用 Community vLLM,并作为普通 KServe LLMInferenceService(不使用 InferNex)部署在 MaaS 网关后方。它们的基准测试采用不同方法(Exgentic 智能体回放,按正在处理的请求数分组),并在各自页面中报告;这些结果不能与下文的 Ascend 场景进行比较。

已验证的模型

模型类型参数dtype设备引擎对应页面
Qwen3-32BQwen3 稠密模型32BBF16Ascend 910B4 ×8vLLM-Ascend v0.18.0Qwen3-32B
Qwen3.6-27B (W8A8)qwen3_5 混合模型(GDN + MTP)27.78BW8A8Ascend 910B4 ×8vLLM-Ascend nightlyQwen3.6-27B (W8A8)
DeepSeek-V4-Flash (W4A8)deepseek_v4 MoE(MLA + DSA + MTP)256 专家 MoEW4A8Ascend 910B4 ×8vLLM-Ascend nightlyDeepSeek-V4-Flash (W4A8)
DeepSeek-V4-Flash (W8A8)deepseek_v4 MoE(MLA + DSA + MTP)256 专家 MoEW8A8Ascend 910B3 ×16vLLM-Ascend nightlyDeepSeek-V4-Flash (W8A8)
MiniMax-M2.5 (W8A8)minimax_m2 MoE(全注意力,256 专家)230B-A10BW8A8 (QuaRot)Ascend 910B3 ×16vLLM-Ascend v0.23.0MiniMax-M2.5 (W8A8)
Gemma-4-31B-itgemma4 稠密多模态模型31BBF16Ascend 910B3 ×8vLLM-Ascend nightly-main (0721)Gemma-4-31B-it
GLM-5.2 (W4A8C8)glm_moe_dsa MoE(MLA + DSA + MTP),1M 上下文753B(~40B 激活)W4A8C8Ascend 910B3 ×64vLLM-Ascend v0.23.0GLM-5.2 (W4A8C8)
Qwen3.8-27B (NVFP4)qwen3_5 混合模型(GDN + MTP)27BNVFP4NVIDIA RTX PRO 6000 ×1vLLM v0.31.0Qwen3.8-27B (NVFP4)
Gemma-4-31B-it (NVFP4)gemma4 稠密多模态模型,仅提供文本服务31BNVFP4NVIDIA RTX PRO 6000 ×1vLLM v0.31.0Gemma-4-31B-it (NVFP4)

两个 Qwen 模型和 DeepSeek-V4-Flash (W4A8) 已在 Ascend 910B4(32 GB/卡)上完成验证,通过 KServe LLMInferenceService 和感知负载的路由(InferNex-Bridge + hermes-router)运行。两个 Qwen 模型采用8 卡聚合——2 个实例 × TP=4;DeepSeek-V4-Flash(~151 GB W4A8)使用全部 8 张卡,采用 1 个实例 × TP=8,并且还额外验证了MaaS 网关(API 密钥)入口与内部 KServe 入口并行使用的情况。

DeepSeek-V4-Flash (W8A8, ~280 GB) 已在 Ascend 910B3(64 GB/卡)的两个节点上完成验证,共 16 张卡,作为单个 DP2 × TP=8 跨节点聚合运行,并使用mooncake 跨 rank KV 存储,通过内部 KServe 入口和产品 MaaS 网关运行。

MiniMax-M2.5 (W8A8, ~230 GB, 230B-A10B) 已在相同的 Ascend 910B3 16 卡 DP2 × TP=8 跨节点聚合上完成验证,但采用的是普通 agg 基线——不使用 mooncake 存储,也不使用推测解码。由于该模型速度“较快”(~10B 激活

  • 全注意力 + W8A8),实测表明这两个附加功能都会降低性能,因此生产配置仅保留解码图和本地前缀缓存。此外,还通过产品 MaaS 网关将其作为真实编码智能体(OpenCode / Pi)进行了验证。

Gemma-4-31B-it 是一个稠密 BF16 模型,已验证为跨两个 910B3 节点的 P4+D4 组合服务:TP4 Prefill 和 TP4 Decode 通过 Ascend Direct 传输交换 KV。它总共使用八个 NPU;其数据表示该 P/D 服务的运行范围,不应与四卡聚合副本进行比较。

Qwen3.8-27B (NVFP4 + DFlash2 推测解码) 在单张 NVIDIA RTX PRO 6000 Blackwell上运行,GPU 内存预算上限设为 84 GB,以模拟 RTX PRO 6000D。在真实智能体回放中,每次调用的输入和输出长度接近 Alauda Hyperflux 的使用情况(Exgentic swebench,输入中位数约为 11–16k 个令牌),该卡可同时处理多达 8 个请求,TTFT p90 ≤ 0.7 s,且每个请求约为 50 tok/s。

Gemma-4-31B-it (NVFP4 + Google 的 MTP 推测解码辅助器) 在同一张 RTX PRO 6000 Blackwell 上运行,内存预算同样为 84 GB。在相同的智能体回放中,它可同时处理多达 8 个请求,TTFT p90 ≈ 1.0 s,且每个请求约为 46 tok/s。

GLM-5.2 (W4A8C8) 提供1M 令牌上下文,作为跨 8 个 Atlas 800 A2 节点(64 × 910B3)的 Prefill/Decode 分离服务运行——4 个 prefill 节点 + 4 个 decode 节点,共享 mooncake KV 池。其基准测试通过回放真实编码智能体会话(Exgentic 智能体轨迹),逐步增加并发会话数完成,而非使用下文的两种 Ascend 场景:它在 64 个并发会话下实现 TTFT P90 9.25 s(低于 10 s);详情请参阅其页面。

运行时镜像

引擎设备镜像(已验证标签)使用模型备注
vLLM-Ascend v0.18.0Huawei Ascend NPUquay.io/ascend/vllm-ascend:v0.18.0-openeulerQwen3-32B用于 Ascend 的 Community vLLM,V1 引擎。可直接为标准 Qwen3 稠密模型提供服务。请确保标签中的 CANN 版本与主机 NPU 驱动匹配。
vLLM-Ascend nightly(固定发布版本)Huawei Ascend NPUquay.io/ascend/vllm-ascend:nightly-releases-v0.22.1rc-openeulerQwen3.6-27B (W8A8), DeepSeek-V4-Flash (W4A8)包含 qwen3_5 Gated DeltaNet 混合架构 + MTP,以及 deepseek_v4 MoE 堆栈——原版 v0.18.0 无法加载这两者。请使用此固定发布版本标签,不要使用会持续变动的 nightly-main-openeuler(它已漂移到一个有问题的构建版本,其中 TP 工作进程会崩溃)。
vLLM-Ascend nightly-main(指定日期的快照)Huawei Ascend NPUquay.io/ascend/vllm-ascend:nightly-main-openeuler-0709DeepSeek-V4-Flash (W8A8)一个较新的 nightly-main 快照(vLLM 0.23.0),包含 DP2 跨节点图和 DSA-CP 前缀缓存修复,这是 W8A8 跨节点部署所需的。请固定使用这样的指定日期快照,而非会持续变动的 nightly-main 标签。
vLLM-Ascend v0.23.0(固定发布版本)Huawei Ascend NPUquay.io/ascend/vllm-ascend:v0.23.0-openeulerMiniMax-M2.5 (W8A8), GLM-5.2 (W4A8C8)固定发布版本构建 nightly-releases-v0.23.0-openeuler(vLLM 0.23.0),包含 minimax_m2 MoE 堆栈、工具调用/推理解析器,以及 vLLM #11505(流式工具调用参数会暂存,直到闭合的 </parameter> 到来)。建议使用这个指定日期的发布版标签,而非会持续变动的 nightly-main。
vLLM-Ascend nightly-main(指定日期的快照)Huawei Ascend NPUquay.io/ascend/vllm-ascend:nightly-main-openeuler-0721Gemma-4-31B-it用于已验证 P4+D4 服务的 vLLM 0.25.1 / CANN 9.0.1 快照。请为已知可用的 Gemma 基线保留此确切镜像;这并非对当前版本的推荐。
vLLM v0.31.0(Community)NVIDIA GPUdocker.io/vllm/vllm-openai:v0.31.0 (sha256:c1c9f6fd…)Qwen3.8-27B (NVFP4), Gemma-4-31B-it (NVFP4)CUDA 13.0.2,amd64;需要支持 CUDA 13 的驱动(已在 580.126.09 上验证)。通过一个 LLMInferenceServiceConfig 引入,该配置仅覆盖平台默认模板中的镜像。
TIP

Ascend CANN 镜像为 arm64 架构。务必确保运行时镜像中的 CANN 版本与节点上的主机 NPU 驱动匹配。本指南仅列出实际使用的引擎;其他引擎(MindIE、SGLang 等)未在此规模下进行基准测试。

基准测试场景

这些模型使用 aiperf,针对根据真实服务模式构建的相同两个场景进行了测量。输出固定为 128 个令牌,负载为闭环并发 4(固定有 4 个请求在途);每个场景运行 240 个请求。 DeepSeek-V4-Flash (W8A8) 和 MiniMax-M2.5 (W8A8) 是例外——它们测试了并发 8 / 16 / 32(每个档位 480 个请求)。 Gemma-4-31B-it 使用这两个场景和相同的并发测试,但由于测量时 MaaS 后端仍连接到较旧的聚合服务,因此会直接发送到其 P4+D4 代理。 GLM-5.2 (W4A8C8) 不使用这些场景:它通过在不同并发会话数下重放 coding-agent 会话进行测量——请参阅其页面。

场景模拟内容数据集请求形态
① 固定长度系统提示词复用复用的系统提示词——请求长度固定且 KV cache 重复时的性能。60 个不同的 8k 令牌系统提示词,每个复用 4 次 = 240 个请求。ISL ~8k / OSL 128
② 多轮对话多个用户持续进行对话,每个会话包含多个请求。60 个独立用户 × 4 轮 = 240 个请求。第 1 轮发送 16k,模型回复 128 个令牌;第 2 轮增加 1k(总计 ~17k);以此类推,共 4 轮(16k / 17k / 18k / 19k),平均为 ~17.5k ISL / OSL 128。
NOTE

两个 Qwen 模型和 DeepSeek-V4-Flash (W4A8) 在单节点 8 卡部署上运行这些场景(Qwen 模型为 2 个实例 × TP=4;DeepSeek-V4-Flash W4A8 为 1 个实例 × TP=8)。延迟(TTFT / ITL / E2E)是稳定 2 个请求在途负载下每个实例的运行点;总吞吐量(TPS)是所有实例的聚合值,并随实例数量扩展。TPS 采用总令牌数(输入 + 输出)口径;仅解码输出速率单独报告,在这些长输入负载下要小得多。

DeepSeek-V4-Flash (W8A8) 和 MiniMax-M2.5 (W8A8) 则运行在16 卡 DP2 × TP=8 跨节点部署上,并测试并发 8 / 16 / 32(每个档位 480 个请求),因此其数值是运行范围,分别在各模型自己的页面上报告。两者均通过内部 KServe ingress 和产品 MaaS gateway(API-key)ingress 驱动。

部署经过验证的模型

每个 Ascend 模型页面都链接到 ascend/assets/ 下的自包含 YAML 文件,其中包含实际的 InferNex 部署——一个 KServe LLMInferenceService(infernex.io/runtime: true),以及两个 LLMInferenceServiceConfig 对象(引擎模板和 hermes-router/EPP 模板);InferNex-Bridge 会将它们协调为运行中的实例。

base=https://raw.githubusercontent.com/alauda/aml-docs/master/docs/en/plan/validated_models/ascend/assets

# 1. Edit the file first: set the namespace and the image tag (match your CANN /
#    host driver). model.uri already points at the public ModelCar on Docker Hub
#    (oci://docker.io/alaudadockerhub/...) — repoint it only if you mirror locally.
# 2. Apply — the InferNex-Bridge reconciles the LLMInferenceService into the
#    hermes-router (EPP) + the vLLM-Ascend instances.
kubectl apply -f $base/qwen3-32b/qwen3-32b-agg-base-llmisvc.yaml

# 3. Watch it come up (first start loads weights + compiles graphs — can take minutes).
kubectl -n <your-namespace> get llminferenceservice -w

# 4. Call the OpenAI-compatible endpoint through the gateway.
curl -s http://<gateway>/<namespace>/qwen3-32b-agg-base/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"model":"Qwen/Qwen3-32B","messages":[{"role":"user","content":"hello"}]}'

注意事项

  • 这些清单通过 InferNex(LLMInferenceService + InferNex-Bridge - hermes-router)进行部署。两个 LLMInferenceServiceConfig 对象位于 kserve 命名空间中;LLMInferenceService 位于你的部署命名空间中。
  • 资源键适用于 Ascend 910B4(huawei.com/Ascend910)。请根据实际的 NPU 型号调整资源键、镜像和版本字段。
  • NVIDIA 模型不适用上述两点:它们不使用 InferNex,资源键为 nvidia.com/gpu;每个检查点及其草稿模型分别对应两个独立的 ModelCar——请参阅 Qwen3.8-27B (NVFP4) 和 Gemma-4-31B-it (NVFP4)。
  • ModelCar 镜像位于 Docker Hub 上,公开发布于 alaudadockerhub 下——清单无需凭据即可拉取这些镜像。如果你更倾向于使用自己的镜像仓库,请将它们镜像到该仓库,并重新指向 model.uri;清单中的 modelcar 拉取密钥仅在使用私有镜像仓库时需要。
  • 基准测试数据是在 8 张卡上以闭环(并发 4)方式测得的。应将其视为稳定负载下每个实例的运行点,而不是饱和上限。

验证 ModelCar 签名

ModelCar 镜像使用 Cosign 进行签名。在部署前,请使用已发布的公钥(cosign.pub)验证镜像:

curl -sO https://raw.githubusercontent.com/alauda/aml-docs/master/docs/en/plan/validated_models/cosign.pub

cosign verify --key cosign.pub --insecure-ignore-tlog=true \
  docker.io/alaudadockerhub/modelcar-qwen3-32b:v0.1.0

已签名的镜像及其摘要:

镜像摘要
docker.io/alaudadockerhub/modelcar-qwen3-32b:v0.1.0sha256:eccffdb567038196638eb7e1c6bb9572d8bcc7829d11fcdfa17f2c43fbca0c6e
docker.io/alaudadockerhub/modelcar-qwen3-6-27b-w8a8:v0.1.0sha256:5eb8841a29a4f3d659f8cef25c7f8b16208b32265db23354dae79c4c04e8ef79
docker.io/alaudadockerhub/modelcar-deepseek-v4-flash-w4a8-mtp:v0.1.0sha256:ef57a46726bec9c6505504262beaa55ec6c45d595a1726ab90d594f42606c6be
docker.io/alaudadockerhub/modelcar-qwen3.8-27b-nvfp4:v0.1.0sha256:29e36f5bf1d731e3ee175f75ba00821292e21bc6323cfd659533fe702f927aac
docker.io/alaudadockerhub/modelcar-qwen3.8-27b-dflash2:v0.1.0sha256:ab910d1dce269083ea6b6427ce952fefd225d33e03ae60714c5ba6f391d5908a
docker.io/alaudadockerhub/modelcar-gemma-4-31b-it-nvfp4:v0.1.0sha256:1a8eca87ac19759961317474a63db4a6e570f508b1eb23a69d1a410d6baebe23
docker.io/alaudadockerhub/modelcar-gemma-4-31b-it-assistant:v0.1.0sha256:033b599c021bd740b7ad6fd90a449186b9e58a3a15f7ab6849bef53292d14031
docker.io/alaudadockerhub/modelcar-glm-5.2-w4a8c8:v0.1.0sha256:0277c991ec74d38883fdf4490e46cecb2c9eeba2644f1ff809be1ee8cb8b9e7b
NOTE

DeepSeek-V4-Flash(W8A8)和 MiniMax-M2.5(W8A8)不在此 Cosign 表中——它们的 ModelCar 以 OCI Image Layout tar(而非已签名的注册表镜像)形式分发,因此没有可验证的 Cosign 签名。其完整性改为通过内容寻址保证:每个 tar 中的 index.json 都包含镜像摘要,并且导入时会根据各自的摘要验证 blobs/sha256/ 下的每个 blob(skopeo copy 会执行此检查)。请参阅 DeepSeek-V4-Flash (W8A8) 和 MiniMax-M2.5 (W8A8) 页面。

由于这些镜像使用 --tlog-upload=false 签名(没有公开的透明日志条目),因此必须使用 --insecure-ignore-tlog=true;验证仅依赖公钥。