DeepSeek-V4-Flash (W4A8)
deepseek_v4 架构模型——采用 MLA + DSA 稀疏注意力的 256 专家 MoE,以及原生 MTP 推测头,以 W4A8(约 151 GB 权重,43 层)提供服务。
已通过 Alauda AI Platform 的 InferNex 界面,使用 vLLM-Ascend nightly 引擎在 Ascend 910B4(32 GB/卡) 上完成验证。由于权重需要全部 8 张卡,拓扑为 1 个实例 × TP=8(+ 专家并行);此外,两个基准测试场景还通过 MaaS 网关(API 密钥) 入口运行,同时保留内部 KServe 入口。
模型标识
已验证的硬件 × 软件栈
发行版固定的 nightly nightly-releases-v0.22.1rc-openeuler(与 Qwen3.6-27B 使用相同镜像)包含完整的 deepseek_v4 软件栈。enable_dsa_cp 特意设置为
关闭(上游 DSA-CP 索引缓冲区 bug 会导致此版本在持续进行 8k MTP 解码时崩溃)。前缀缓存已启用,但命中率为 0——DSA 稀疏注意力会按查询选择 KV,因此共享前缀无法直接复用;它几乎不产生额外开销,而相较旧版本的加速来自 nightly 软件栈本身,而非前缀缓存。
模型配置
部署规格
仅以 agg-base 方式提供服务 — 聚合,hermes-router 策略为 random。由于只有一个 TP=8 实例,router 只有一个 endpoint(空操作);保留此结构是为了保持一致性。跨实例 KV 存储 / KV-cache 感知路由(agg-mc-kv)不适用:约 151 GB 的权重占满了全部 8 张卡,因此只能容纳一个副本,也没有第二个实例可共享 KV。
部署
完整的 InferNex 清单(引擎内联在 LLMInferenceService +
hermes-router 预设中,1 个副本 × TP=8):
基准测试结果
闭环 aiperf 0.7.0,TP=8 × 1 个副本(8 × 910B4),并发数为 4,agg-base。
两个场景——① 复用 8k 系统提示词和 ② 17.5k 多轮对话——各 240 个请求,
输出固定为 128 个 token,n=3(所有运行均为 240/240,零错误)。每个场景都通过两个入口进行测试:内部 KServe Service(无身份验证)和产品的 MaaS 网关(Envoy + API 密钥身份验证 + token 速率限制——面向客户的 OpenAI endpoint)。TTFT / E2E 单位为 ms,ITL 单位为 ms,TPS = 总 token/s。
场景 ① — 固定长度系统提示词复用(ISL ~8k / OSL 128)
场景 ② — 多轮对话(ISL ~17.5k / OSL 128)
如何解读这些数据。所有运行均以稳定的每个实例 2 个在途请求完成 240/240,零错误(n=3 平均值)。MaaS 网关与内部 KServe 的差异在运行间抖动范围内(场景 ① 中网关约高出 ~1–3%,即额外几百毫秒的跳转开销;场景 ② 的两组 n=3 测试在不同时间进行,结果反而相差几个百分点)。结论:对于典型请求和长上下文请求,API 密钥 + 速率限制的 MaaS 网关不会产生超出噪声范围的可测量开销,因此可将其用作生产环境入口。仅解码输出速率为 33 tok/s(场景 ①)/ 16 tok/s(场景 ②);TPS 列的统计口径为总 token 数(输入 + 输出)。MTP 推测解码已启用。这是单个 TP=8 实例,因此 TPS 不能直接与本指南中的 2 副本模型进行比较。
通过 MaaS 网关发送的长上下文请求需要调高网关的请求体缓冲区——17.5k 场景(约 85 KB 的流式请求体)超过默认限制,并会一直挂起,直到增大 MaaS 网关上的 ClientTrafficPolicy.connection.bufferLimit。内部 KServe 入口没有此限制。上面的数据是在修复后测得的。