#已验证的模型

面向 Alauda AI 上 已验证的开放权重 LLM 的即用型部署方案。
本指南中的每个模型都已在真实集群上完成端到端部署并经过基准测试，因此你可以获得一个已知可用的部署清单、为其提供服务的运行时镜像，以及可预期的吞吐量。

这里的模型均在 Huawei Ascend NPUs（910B4 和 910B3） 上，使用社区 vLLM-Ascend 引擎进行验证，并通过 Alauda AI 的 InferNex 接入层部署——即由 InferNex-Bridge 将 KServe LLMInferenceService 协调为一个具备负载感知能力的路由器（hermes-router / EPP），位于 vLLM-Ascend 实例之前。大多数模型都通过了相同的 InferNex 聚合入口和相同的两个基准场景（两个 Qwen 模型共享完全相同的 2 × TP=4 拓扑，因此可以直接比较；DeepSeek-V4-Flash 和 MiniMax-M2.5 使用更大的 MoE 拓扑，最多达到 16 卡的 DP2 × TP=8 跨节点聚合）。关于运行时模型（KServe、ModelCar 存储、调度），请参见 部署。

#已验证的模型

两个 Qwen 模型和 DeepSeek-V4-Flash（W4A8）均在 Ascend 910B4（每卡 32 GB）上完成验证，并通过具备负载感知路由的 KServe LLMInferenceService（InferNex-Bridge + hermes-router）进行驱动。两个 Qwen 模型运行在8 卡聚合上——2 个实例 × TP=4；DeepSeek-V4-Flash（约 151 GB W4A8）以1 个实例 × TP=8 的方式占满全部 8 卡，并额外验证了位于内部 KServe 入口旁的 MaaS gateway（API-key）入口。

DeepSeek-V4-Flash（W8A8，约 280 GB）在 Ascend 910B3（每卡 64 GB）双节点共 16 卡上进行了验证，作为单个 DP2 × TP=8 跨节点聚合运行，并使用 mooncake 跨 rank KV 存储，同时通过内部 KServe 入口和产品的 MaaS gateway 进行驱动。

MiniMax-M2.5（W8A8，约 230 GB，230B-A10B）在相同的 Ascend 910B3 16 卡 DP2 × TP=8 跨节点聚合上进行了验证，但作为一个纯 agg 基线——不使用 mooncake 存储，也不使用 speculative decoding。由于该模型属于“快速”类型（约 10B 激活

• full attention + W8A8），这两个附加功能都被测得会降低性能，因此生产配置只保留 decode graph + 本地 prefix cache。它还通过产品 MaaS gateway 额外验证为一个真实的编码 Agent（OpenCode / Pi）。

#运行时镜像

#基准场景

这些模型使用 aiperf 在相同的两个场景下进行了测量，这两个场景模拟真实的服务模式。输出固定为 128 tokens，负载采用 closed-loop、并发 4（固定 4 个在途请求）；每个场景执行 240 个请求。DeepSeek-V4-Flash（W8A8）和 MiniMax-M2.5（W8A8）是例外——它们分别在 并发 8 / 16 / 32 下进行扫描测试（每个档位 480 个请求）。

#部署已验证的模型

每个模型页面都链接了位于 assets/ 下的自包含 YAML，这些 YAML 包含真实的 InferNex 部署——一个 KServe LLMInferenceService（infernex.io/runtime: true）以及两个 LLMInferenceServiceConfig 对象（engine template + hermes-router/EPP template），由 InferNex-Bridge 将它们协调为正在运行的实例。

base=https://raw.githubusercontent.com/alauda/aml-docs/master/docs/en/plan/validated_models/assets

# 1. Edit the file first: set the namespace and the image tag (match your CANN /
#    host driver). model.uri already points at the public ModelCar on Docker Hub
#    (oci://docker.io/alaudadockerhub/...) — repoint it only if you mirror locally.
# 2. Apply — the InferNex-Bridge reconciles the LLMInferenceService into the
#    hermes-router (EPP) + the vLLM-Ascend instances.
kubectl apply -f $base/qwen3-32b/qwen3-32b-agg-base-llmisvc.yaml

# 3. Watch it come up (first start loads weights + compiles graphs — can take minutes).
kubectl -n <your-namespace> get llminferenceservice -w

# 4. Call the OpenAI-compatible endpoint through the gateway.
curl -s http://<gateway>/<namespace>/qwen3-32b-agg-base/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"model":"Qwen/Qwen3-32B","messages":[{"role":"user","content":"hello"}]}'

#注意事项

• 这些清单通过 InferNex（LLMInferenceService + InferNex-Bridge - hermes-router）进行部署。两个 LLMInferenceServiceConfig 对象位于 kserve 命名空间；LLMInferenceService 位于你的部署命名空间。
• 资源键适用于 Ascend 910B4（huawei.com/Ascend910）。请根据你实际的 NPU 型号调整资源键、镜像和版本字段。
• ModelCar 镜像在 Docker Hub 上通过 alaudadockerhub 公开提供——这些清单会在无需凭据的情况下拉取它们。如果你愿意，可以将其镜像到自己的 registry 并重新指向 model.uri；清单中的 modelcar pull secret 仅在私有 registry 场景下需要。
• 基准数据是在 8 卡上以 closed-loop（并发 4）方式测得。请将它们视为稳定负载下的每实例运行点，而不是饱和上限。

#验证 ModelCar 签名

ModelCar 镜像使用 Cosign 进行签名。部署前，请使用已发布的公钥（cosign.pub）验证镜像：

curl -sO https://raw.githubusercontent.com/alauda/aml-docs/master/docs/en/plan/validated_models/cosign.pub

cosign verify --key cosign.pub --insecure-ignore-tlog=true \
  docker.io/alaudadockerhub/modelcar-qwen3-32b:v0.1.0

三个已签名镜像及其摘要如下：

之所以需要 --insecure-ignore-tlog=true，是因为这些镜像使用 --tlog-upload=false 签名（没有公开的 transparency log 条目）；验证仅依赖公钥本身。