已验证的模型
为 Alauda AI Platform 上已验证的开放权重 LLM提供可直接部署的配置方案。本指南中的每个模型都已在真实集群上完成端到端部署和基准测试,因此你可以获得经过验证的部署清单、用于提供服务的运行时镜像,以及预期吞吐量。
本指南中的模型已在Huawei Ascend NPU(910B4 和 910B3)上通过 Community vLLM-Ascend 引擎完成验证,并通过 Alauda AI Platform 的 InferNex 界面部署——KServe LLMInferenceService 经 InferNex-Bridge 协调后,形成一个位于 vLLM-Ascend 实例前方的感知负载路由器(hermes-router / EPP)。大多数模型均通过相同的 InferNex 聚合界面和相同的两种基准测试场景运行(两个 Qwen 模型共享完全相同的 2 × TP=4 拓扑,可直接比较;DeepSeek-V4-Flash 和 MiniMax-M2.5 使用规模更大的 MoE 拓扑,最多采用 16 卡 DP2 × TP=8 跨节点聚合)。有关运行时模型(KServe、ModelCar 存储和调度),请参阅 部署。
Qwen3.8-27B 和 Gemma-4-31B-it(NVFP4)已在 NVIDIA 上完成验证:各自在一张 RTX PRO 6000 Blackwell 上使用 Community vLLM,并作为普通 KServe LLMInferenceService(不使用 InferNex)部署在 MaaS 网关后方。它们的基准测试采用不同方法(Exgentic 智能体回放,按正在处理的请求数分组),并在各自页面中报告;这些结果不能与下文的 Ascend 场景进行比较。
已验证的模型
两个 Qwen 模型和 DeepSeek-V4-Flash (W4A8) 已在 Ascend 910B4(32 GB/卡)上完成验证,通过 KServe LLMInferenceService 和感知负载的路由(InferNex-Bridge + hermes-router)运行。两个 Qwen 模型采用8 卡聚合——2 个实例 × TP=4;DeepSeek-V4-Flash(~151 GB W4A8)使用全部 8 张卡,采用 1 个实例 × TP=8,并且还额外验证了MaaS 网关(API 密钥)入口与内部 KServe 入口并行使用的情况。
DeepSeek-V4-Flash (W8A8, ~280 GB) 已在 Ascend 910B3(64 GB/卡)的两个节点上完成验证,共 16 张卡,作为单个 DP2 × TP=8 跨节点聚合运行,并使用mooncake 跨 rank KV 存储,通过内部 KServe 入口和产品 MaaS 网关运行。
MiniMax-M2.5 (W8A8, ~230 GB, 230B-A10B) 已在相同的 Ascend 910B3 16 卡 DP2 × TP=8 跨节点聚合上完成验证,但采用的是普通 agg 基线——不使用 mooncake 存储,也不使用推测解码。由于该模型速度“较快”(~10B 激活
- 全注意力 + W8A8),实测表明这两个附加功能都会降低性能,因此生产配置仅保留解码图和本地前缀缓存。此外,还通过产品 MaaS 网关将其作为真实编码智能体(OpenCode / Pi)进行了验证。
Gemma-4-31B-it 是一个稠密 BF16 模型,已验证为跨两个 910B3 节点的 P4+D4 组合服务:TP4 Prefill 和 TP4 Decode 通过 Ascend Direct 传输交换 KV。它总共使用八个 NPU;其数据表示该 P/D 服务的运行范围,不应与四卡聚合副本进行比较。
Qwen3.8-27B (NVFP4 + DFlash2 推测解码) 在单张 NVIDIA RTX PRO 6000 Blackwell上运行,GPU 内存预算上限设为 84 GB,以模拟 RTX PRO 6000D。在真实智能体回放中,每次调用的输入和输出长度接近 Alauda Hyperflux 的使用情况(Exgentic swebench,输入中位数约为 11–16k 个令牌),该卡可同时处理多达 8 个请求,TTFT p90 ≤ 0.7 s,且每个请求约为 50 tok/s。
Gemma-4-31B-it (NVFP4 + Google 的 MTP 推测解码辅助器) 在同一张 RTX PRO 6000 Blackwell 上运行,内存预算同样为 84 GB。在相同的智能体回放中,它可同时处理多达 8 个请求,TTFT p90 ≈ 1.0 s,且每个请求约为 46 tok/s。
GLM-5.2 (W4A8C8) 提供1M 令牌上下文,作为跨 8 个 Atlas 800 A2 节点(64 × 910B3)的 Prefill/Decode 分离服务运行——4 个 prefill 节点 + 4 个 decode 节点,共享 mooncake KV 池。其基准测试通过回放真实编码智能体会话(Exgentic 智能体轨迹),逐步增加并发会话数完成,而非使用下文的两种 Ascend 场景:它在 64 个并发会话下实现 TTFT P90 9.25 s(低于 10 s);详情请参阅其页面。
运行时镜像
Ascend CANN 镜像为 arm64 架构。务必确保运行时镜像中的 CANN 版本与节点上的主机 NPU 驱动匹配。本指南仅列出实际使用的引擎;其他引擎(MindIE、SGLang 等)未在此规模下进行基准测试。
基准测试场景
这些模型使用 aiperf,针对根据真实服务模式构建的相同两个场景进行了测量。输出固定为 128 个令牌,负载为闭环并发 4(固定有 4 个请求在途);每个场景运行 240 个请求。
DeepSeek-V4-Flash (W8A8) 和 MiniMax-M2.5 (W8A8) 是例外——它们测试了并发 8 / 16 / 32(每个档位 480 个请求)。
Gemma-4-31B-it 使用这两个场景和相同的并发测试,但由于测量时 MaaS 后端仍连接到较旧的聚合服务,因此会直接发送到其 P4+D4 代理。
GLM-5.2 (W4A8C8) 不使用这些场景:它通过在不同并发会话数下重放 coding-agent 会话进行测量——请参阅其页面。
两个 Qwen 模型和 DeepSeek-V4-Flash (W4A8) 在单节点 8 卡部署上运行这些场景(Qwen 模型为 2 个实例 × TP=4;DeepSeek-V4-Flash W4A8 为 1 个实例 × TP=8)。延迟(TTFT / ITL / E2E)是稳定 2 个请求在途负载下每个实例的运行点;总吞吐量(TPS)是所有实例的聚合值,并随实例数量扩展。TPS 采用总令牌数(输入 + 输出)口径;仅解码输出速率单独报告,在这些长输入负载下要小得多。
DeepSeek-V4-Flash (W8A8) 和 MiniMax-M2.5 (W8A8) 则运行在16 卡 DP2 × TP=8 跨节点部署上,并测试并发 8 / 16 / 32(每个档位 480 个请求),因此其数值是运行范围,分别在各模型自己的页面上报告。两者均通过内部 KServe ingress 和产品 MaaS gateway(API-key)ingress 驱动。
部署经过验证的模型
每个 Ascend 模型页面都链接到 ascend/assets/ 下的自包含 YAML 文件,其中包含实际的 InferNex 部署——一个 KServe LLMInferenceService(infernex.io/runtime: true),以及两个 LLMInferenceServiceConfig 对象(引擎模板和 hermes-router/EPP 模板);InferNex-Bridge 会将它们协调为运行中的实例。
注意事项
- 这些清单通过 InferNex(
LLMInferenceService+ InferNex-Bridge - hermes-router)进行部署。两个LLMInferenceServiceConfig对象位于kserve命名空间中;LLMInferenceService位于你的部署命名空间中。 - 资源键适用于 Ascend 910B4(
huawei.com/Ascend910)。请根据实际的 NPU 型号调整资源键、镜像和版本字段。 - NVIDIA 模型不适用上述两点:它们不使用 InferNex,资源键为
nvidia.com/gpu;每个检查点及其草稿模型分别对应两个独立的 ModelCar——请参阅 Qwen3.8-27B (NVFP4) 和 Gemma-4-31B-it (NVFP4)。 - ModelCar 镜像位于 Docker Hub 上,公开发布于
alaudadockerhub下——清单无需凭据即可拉取这些镜像。如果你更倾向于使用自己的镜像仓库,请将它们镜像到该仓库,并重新指向model.uri;清单中的 modelcar 拉取密钥仅在使用私有镜像仓库时需要。 - 基准测试数据是在 8 张卡上以闭环(并发 4)方式测得的。应将其视为稳定负载下每个实例的运行点,而不是饱和上限。
验证 ModelCar 签名
ModelCar 镜像使用 Cosign 进行签名。在部署前,请使用已发布的公钥(cosign.pub)验证镜像:
已签名的镜像及其摘要:
DeepSeek-V4-Flash(W8A8)和 MiniMax-M2.5(W8A8)不在此 Cosign 表中——它们的 ModelCar 以 OCI Image Layout tar(而非已签名的注册表镜像)形式分发,因此没有可验证的 Cosign 签名。其完整性改为通过内容寻址保证:每个 tar 中的 index.json 都包含镜像摘要,并且导入时会根据各自的摘要验证 blobs/sha256/ 下的每个 blob(skopeo copy 会执行此检查)。请参阅 DeepSeek-V4-Flash (W8A8) 和 MiniMax-M2.5 (W8A8) 页面。
由于这些镜像使用 --tlog-upload=false 签名(没有公开的透明日志条目),因此必须使用 --insecure-ignore-tlog=true;验证仅依赖公钥。