推理指南

Alauda AI 上适用于 已验证的 open-weight LLMs 的可直接部署方案。
本指南中的每个模型都已在真实集群上完成端到端部署并进行基准测试,因此你可以获得已知可用的部署清单、为其提供服务的运行时镜像,以及可预期的吞吐量。

这里的模型均在 Huawei Ascend NPUs(910B4 和 910B3) 上使用社区 vLLM-Ascend engine 进行验证,并通过 Alauda AI 的 InferNex 界面部署——由 InferNex-Bridge 将 KServe LLMInferenceService 协调为负载感知路由器 (hermes-router / EPP),并置于 vLLM-Ascend 实例之前。大多数模型都通过相同的 InferNex 聚合界面以及相同的两个基准场景运行(两个 Qwen 模型共享完全相同的 2 × TP=4 拓扑,因此可直接比较;DeepSeek-V4-Flash 使用更大的拓扑,最高可达 16 卡 DP2 × TP=8 跨节点聚合)。关于运行时模型(KServe、ModelCar 存储、调度),请参见 模型部署与推理。

已验证模型

模型类型参数dtype设备Engine对应页面
Qwen3-32BQwen3 稠密模型32BBF16Ascend 910B4 ×8vLLM-Ascend v0.18.0Qwen3-32B
Qwen3.6-27B (W8A8)qwen3_5 hybrid(GDN + MTP)27.78BW8A8Ascend 910B4 ×8vLLM-Ascend nightlyQwen3.6-27B (W8A8)
DeepSeek-V4-Flash (W4A8)deepseek_v4 MoE(MLA + DSA + MTP)256-expert MoEW4A8Ascend 910B4 ×8vLLM-Ascend nightlyDeepSeek-V4-Flash (W4A8)
DeepSeek-V4-Flash (W8A8)deepseek_v4 MoE(MLA + DSA + MTP)256-expert MoEW8A8Ascend 910B3 ×16vLLM-Ascend nightlyDeepSeek-V4-Flash (W8A8)

这两个 Qwen 模型和 DeepSeek-V4-Flash (W4A8) 都在 Ascend 910B4(每卡 32 GB)上完成验证,并通过带负载感知路由的 KServe LLMInferenceService(InferNex-Bridge + hermes-router)进行驱动。两个 Qwen 模型运行在 8 卡聚合——2 个实例 × TP=4;DeepSeek-V4-Flash(约 ~151 GB W4A8)占满全部 8 卡,采用 1 个实例 × TP=8,并额外验证了MaaS gateway(API-key)入口以及内部 KServe 入口。

DeepSeek-V4-Flash (W8A8,约 ~280 GB) 在 Ascend 910B3(每卡 64 GB)跨两个节点共 16 卡 上完成验证,作为单一的 DP2 × TP=8 跨节点聚合,并使用 mooncake 跨 rank KV store,同时通过内部 KServe 入口和产品 MaaS gateway 入口进行驱动。

运行时镜像

Engine设备镜像(已验证标签)适用对象说明
vLLM-Ascend v0.18.0Huawei Ascend NPUquay.io/ascend/vllm-ascend:v0.18.0-openeulerQwen3-32B面向 Ascend 的社区版 vLLM,V1 engine。可直接提供标准 Qwen3 稠密模型服务。请将该标签对应的 CANN 版本与你主机上的 NPU 驱动保持一致。
vLLM-Ascend nightly (release-pinned)Huawei Ascend NPUquay.io/ascend/vllm-ascend:nightly-releases-v0.22.1rc-openeulerQwen3.6-27B (W8A8), DeepSeek-V4-Flash (W4A8)包含 qwen3_5 Gated DeltaNet hybrid + MTP 以及 deepseek_v4 MoE stack——标准 v0.18.0 无法加载这两者。请使用这个固定到发行版本的标签,不要使用持续变化的 nightly-main-openeuler(它已经漂移到一个存在问题的构建,TP workers 会崩溃)。
vLLM-Ascend nightly-main (dated snapshot)Huawei Ascend NPUquay.io/ascend/vllm-ascend:nightly-main-openeuler-0709DeepSeek-V4-Flash (W8A8)一个更晚的 nightly-main 快照(vLLM 0.23.0),包含 W8A8 跨节点部署所需的 DP2 跨节点图以及 DSA-CP prefix-cache 修复。请固定使用带日期的快照,如本例所示,而不是持续变化的 nightly-main 标签。
TIP

Ascend CANN 镜像为 arm64。请始终将运行时镜像的 CANN 版本与节点上的主机 NPU 驱动保持一致。本指南仅列出了实际使用的 engine;其他 engine(MindIE、SGLang、…)未在该规模下进行基准测试。

基准场景

这些模型使用 aiperf 针对相同的两个场景进行测量,这两个场景模拟了真实的服务模式。输出固定为 128 个 token,负载为 closed-loop、concurrency 4(固定 4 个并发中的请求);每个场景运行 240 个请求。DeepSeek-V4-Flash (W8A8) 是例外——它按 concurrency 8 / 16 / 32 进行扫描(每个档位 480 个请求)。

场景模拟内容数据集请求形态
① 固定长度系统提示词复用复用同一个 system prompt——当请求长度固定且 KV cache 重复时的性能。60 个不同的 8k-token system prompt,每个复用 4 次 = 240 个请求。ISL ~8k / OSL 128
② 多轮对话多个用户处于持续对话中,每个 session 包含多个请求。60 个独立用户 × 4 轮 = 240 个请求。第 1 轮发送 16k,模型返回 128 个 token;第 2 轮增加 1k(总计约 17k);后续 4 轮依此类推(16k / 17k / 18k / 19k),平均 约 17.5k ISL / OSL 128。
NOTE

这两个 Qwen 模型和 DeepSeek-V4-Flash (W4A8) 在 单节点 8 卡 部署上运行这些场景(Qwen 模型:2 个实例 × TP=4;DeepSeek-V4-Flash W4A8:1 个实例 × TP=8)。延迟(TTFT / ITL / E2E)是在稳定的 2 个 in-flight 负载下、每个实例的工作点;总吞吐量(TPS)是所有实例的聚合值,并随实例数线性扩展。TPS 指的是总 token(输入 + 输出)吞吐能力;仅解码输出速率会单独报告,并且在这类长输入工作负载下会小得多。

DeepSeek-V4-Flash (W8A8) 则运行在 16 卡 DP2 × TP=8 跨节点 部署上,并按 concurrency 8 / 16 / 32 进行扫描(每个档位 480 个请求),因此其数值作为一个运行区间在其单独页面中报告。它同时通过内部 KServe 入口和产品 MaaS gateway(API-key)入口 进行驱动。

部署已验证模型

每个模型页面都链接到 assets/ 下的自包含 YAML: assets/,其中包含真实的 InferNex 部署——一个 KServe LLMInferenceService (infernex.io/runtime: true)以及两个 LLMInferenceServiceConfig 对象 (engine template + hermes-router/EPP template),由 InferNex-Bridge 协调到运行中的实例。

base=https://raw.githubusercontent.com/alauda/aml-docs/master/docs/en/inference_guide/assets

# 1. Edit the file first: set the namespace and the image tag (match your CANN /
#    host driver). model.uri already points at the public ModelCar on Docker Hub
#    (oci://docker.io/alaudadockerhub/...) — repoint it only if you mirror locally.
# 2. Apply — the InferNex-Bridge reconciles the LLMInferenceService into the
#    hermes-router (EPP) + the vLLM-Ascend instances.
kubectl apply -f $base/qwen3-32b/qwen3-32b-agg-base-llmisvc.yaml

# 3. Watch it come up (first start loads weights + compiles graphs — can take minutes).
kubectl -n <your-namespace> get llminferenceservice -w

# 4. Call the OpenAI-compatible endpoint through the gateway.
curl -s http://<gateway>/<namespace>/qwen3-32b-agg-base/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"model":"Qwen/Qwen3-32B","messages":[{"role":"user","content":"hello"}]}'

注意事项

  • 这些清单通过 InferNex(LLMInferenceService + InferNex-Bridge - hermes-router)进行部署。两个 LLMInferenceServiceConfig 对象位于 kserve namespace;LLMInferenceService 位于你的部署 namespace 中。
  • 资源键针对 Ascend 910B4(huawei.com/Ascend910)。请根据你实际的 NPU 型号调整 resource key、image 和 version 字段。
  • 这些 ModelCar 镜像在 Docker Hub 上以 公开 形式提供,仓库为 alaudadockerhub——清单会在无凭据的情况下拉取它们。如果你愿意,可以将它们镜像到自己的 registry,并重新指向 model.uri;清单中的 modelcar pull secret 仅在私有 registry 场景下才需要。
  • 基准数值是在 8 卡上以 closed-loop(concurrency 4)方式测得的。请将其视为稳定负载下、每个实例的工作点,而不是饱和上限。

验证 ModelCar 签名

这些 ModelCar 镜像使用 Cosign 进行签名。部署前,请使用发布的公钥 (cosign.pub)验证镜像:

curl -sO https://raw.githubusercontent.com/alauda/aml-docs/master/docs/en/inference_guide/cosign.pub

cosign verify --key cosign.pub --insecure-ignore-tlog=true \
  docker.io/alaudadockerhub/modelcar-qwen3-32b:v0.1.0

这三个已签名镜像及其 digest 如下:

镜像Digest
docker.io/alaudadockerhub/modelcar-qwen3-32b:v0.1.0sha256:eccffdb567038196638eb7e1c6bb9572d8bcc7829d11fcdfa17f2c43fbca0c6e
docker.io/alaudadockerhub/modelcar-qwen3-6-27b-w8a8:v0.1.0sha256:5eb8841a29a4f3d659f8cef25c7f8b16208b32265db23354dae79c4c04e8ef79
docker.io/alaudadockerhub/modelcar-deepseek-v4-flash-w4a8-mtp:v0.1.0sha256:ef57a46726bec9c6505504262beaa55ec6c45d595a1726ab90d594f42606c6be
NOTE

DeepSeek-V4-Flash (W8A8) 不在这个 Cosign 表中——它的 ModelCar 以 OCI Image Layout tar 形式分发(而不是签名的 registry 镜像),因此没有可供验证的 Cosign 签名。它的完整性改为通过内容寻址保证:tar 的 index.json 包含 image digest,并且 blobs/sha256/ 下的每个 blob 在导入时都会依据其自身 digest 进行校验(skopeo copy 会执行此检查)。请参见其 页面。

由于这些镜像使用 --tlog-upload=false 进行签名(没有公开的 transparency-log 记录),因此需要使用 --insecure-ignore-tlog=true;验证仅依赖公钥本身。