推理指南
Alauda AI 上适用于 已验证的 open-weight LLMs 的可直接部署方案。
本指南中的每个模型都已在真实集群上完成端到端部署并进行基准测试,因此你可以获得已知可用的部署清单、为其提供服务的运行时镜像,以及可预期的吞吐量。
这里的模型均在 Huawei Ascend NPUs(910B4 和 910B3) 上使用社区 vLLM-Ascend engine 进行验证,并通过 Alauda AI 的 InferNex 界面部署——由 InferNex-Bridge 将 KServe LLMInferenceService 协调为负载感知路由器
(hermes-router / EPP),并置于 vLLM-Ascend 实例之前。大多数模型都通过相同的 InferNex 聚合界面以及相同的两个基准场景运行(两个 Qwen 模型共享完全相同的 2 × TP=4 拓扑,因此可直接比较;DeepSeek-V4-Flash 使用更大的拓扑,最高可达 16 卡 DP2 × TP=8 跨节点聚合)。关于运行时模型(KServe、ModelCar 存储、调度),请参见 模型部署与推理。
已验证模型
这两个 Qwen 模型和 DeepSeek-V4-Flash (W4A8) 都在 Ascend 910B4(每卡 32 GB)上完成验证,并通过带负载感知路由的 KServe LLMInferenceService(InferNex-Bridge + hermes-router)进行驱动。两个 Qwen 模型运行在 8 卡聚合——2 个实例 × TP=4;DeepSeek-V4-Flash(约 ~151 GB W4A8)占满全部 8 卡,采用 1 个实例 × TP=8,并额外验证了MaaS gateway(API-key)入口以及内部 KServe 入口。
DeepSeek-V4-Flash (W8A8,约 ~280 GB) 在 Ascend 910B3(每卡 64 GB)跨两个节点共 16 卡 上完成验证,作为单一的 DP2 × TP=8 跨节点聚合,并使用 mooncake 跨 rank KV store,同时通过内部 KServe 入口和产品 MaaS gateway 入口进行驱动。
运行时镜像
Ascend CANN 镜像为 arm64。请始终将运行时镜像的 CANN 版本与节点上的主机 NPU 驱动保持一致。本指南仅列出了实际使用的 engine;其他 engine(MindIE、SGLang、…)未在该规模下进行基准测试。
基准场景
这些模型使用 aiperf 针对相同的两个场景进行测量,这两个场景模拟了真实的服务模式。输出固定为 128 个 token,负载为 closed-loop、concurrency 4(固定 4 个并发中的请求);每个场景运行 240 个请求。DeepSeek-V4-Flash (W8A8) 是例外——它按 concurrency 8 / 16 / 32 进行扫描(每个档位 480 个请求)。
这两个 Qwen 模型和 DeepSeek-V4-Flash (W4A8) 在 单节点 8 卡 部署上运行这些场景(Qwen 模型:2 个实例 × TP=4;DeepSeek-V4-Flash W4A8:1 个实例 × TP=8)。延迟(TTFT / ITL / E2E)是在稳定的 2 个 in-flight 负载下、每个实例的工作点;总吞吐量(TPS)是所有实例的聚合值,并随实例数线性扩展。TPS 指的是总 token(输入 + 输出)吞吐能力;仅解码输出速率会单独报告,并且在这类长输入工作负载下会小得多。
DeepSeek-V4-Flash (W8A8) 则运行在 16 卡 DP2 × TP=8 跨节点 部署上,并按 concurrency 8 / 16 / 32 进行扫描(每个档位 480 个请求),因此其数值作为一个运行区间在其单独页面中报告。它同时通过内部 KServe 入口和产品 MaaS gateway(API-key)入口 进行驱动。
部署已验证模型
每个模型页面都链接到 assets/ 下的自包含 YAML:
assets/,其中包含真实的 InferNex 部署——一个 KServe LLMInferenceService
(infernex.io/runtime: true)以及两个 LLMInferenceServiceConfig 对象
(engine template + hermes-router/EPP template),由 InferNex-Bridge 协调到运行中的实例。
注意事项
- 这些清单通过 InferNex(
LLMInferenceService+ InferNex-Bridge - hermes-router)进行部署。两个LLMInferenceServiceConfig对象位于kservenamespace;LLMInferenceService位于你的部署 namespace 中。 - 资源键针对 Ascend 910B4(
huawei.com/Ascend910)。请根据你实际的 NPU 型号调整 resource key、image 和 version 字段。 - 这些 ModelCar 镜像在 Docker Hub 上以 公开 形式提供,仓库为
alaudadockerhub——清单会在无凭据的情况下拉取它们。如果你愿意,可以将它们镜像到自己的 registry,并重新指向model.uri;清单中的 modelcar pull secret 仅在私有 registry 场景下才需要。 - 基准数值是在 8 卡上以 closed-loop(concurrency 4)方式测得的。请将其视为稳定负载下、每个实例的工作点,而不是饱和上限。
验证 ModelCar 签名
这些 ModelCar 镜像使用 Cosign 进行签名。部署前,请使用发布的公钥
(cosign.pub)验证镜像:
这三个已签名镜像及其 digest 如下:
DeepSeek-V4-Flash (W8A8) 不在这个 Cosign 表中——它的 ModelCar 以 OCI Image Layout tar 形式分发(而不是签名的 registry 镜像),因此没有可供验证的 Cosign 签名。它的完整性改为通过内容寻址保证:tar 的 index.json 包含 image digest,并且 blobs/sha256/ 下的每个 blob 在导入时都会依据其自身 digest 进行校验(skopeo copy 会执行此检查)。请参见其 页面。
由于这些镜像使用 --tlog-upload=false 进行签名(没有公开的 transparency-log 记录),因此需要使用 --insecure-ignore-tlog=true;验证仅依赖公钥本身。