DeepSeek-V4-Flash (W4A8)
deepseek_v4 架构模型 —— 采用 MLA + DSA 稀疏注意力的 256 专家 MoE,
以及原生 MTP speculative head,按 W4A8 方式提供服务(~151 GB 权重,43 层)。
已在 Ascend 910B4(32 GB/卡) 上,通过 Alauda AI 的 InferNex 界面使用
vLLM-Ascend nightly 引擎完成验证。由于权重需要占满全部 8 张卡,拓扑为
1 个实例 × TP=8(+ expert parallel),两个基准场景也同时通过
MaaS gateway(API-key)入口 和内部 KServe 入口进行驱动。
模型标识
已验证硬件 × 栈
按发布版本固定的 nightly nightly-releases-v0.22.1rc-openeuler(与 Qwen3.6-27B
使用相同镜像)包含完整的 deepseek_v4 栈。enable_dsa_cp 故意保持为
off(上游 DSA-CP 索引缓冲区 bug 会在该构建上导致持续 8k MTP decode 崩溃)。
Prefix caching 已启用,但 命中率为 0 —— DSA 稀疏注意力会按 query 选择 KV,
因此共享前缀无法直接复用;它几乎没有成本,且相较旧版本的加速来自 nightly 栈
本身,而不是 prefix caching。
模型配置
部署规格
仅以 agg-base 方式提供服务——aggregation,hermes-router 策略为 random。
在单个 TP=8 实例下,router 只有一个 endpoint(等同于 no-op);保留该结构是为了保持一致性。
跨实例 KV store / 感知 KV-cache 的路由(agg-mc-kv)不适用:~151 GB 权重会占满全部 8 张卡,
因此只能容纳一个副本,也不存在可共享 KV 的第二个实例。
部署
自包含的 InferNex 清单(引擎内联在 LLMInferenceService + hermes-router 预设中,1 个副本 × TP=8):
基准测试结果
闭环 aiperf 0.7.0,TP=8 × 1 replica(8 × 910B4),并发 4,agg-base。两个场景——
① 8k system-prompt 复用和 ② 17.5k 多轮对话——各发送 240 个请求,输出固定为 128 tokens,n=3
(所有运行均为 240/240,无错误)。每个场景都通过两个入口进行驱动:内部 KServe Service
(无认证)以及产品 MaaS gateway(Envoy + API-key 认证 + token 限流——面向客户的 OpenAI 端点)。
TTFT / E2E 单位为 ms,ITL 单位为 ms,TPS = total tokens/s。
场景 ① —— 固定长度 system-prompt 复用(ISL ~8k / OSL 128)
场景 ② —— 多轮对话(ISL ~17.5k / OSL 128)
如何解读这些结果。 所有运行都在每个实例稳定保持 2 个在途请求的条件下完成,且 240/240 全部成功、无错误 (n=3 平均值)。MaaS gateway 与内部 KServe 的差异处于运行间抖动范围内(场景 ① 在 gateway 上约高出 1–3%,即额外一跳带来几百毫秒的开销;场景 ② 的两组 n=3 数据在不同时间采集,结果则反向低了几个百分点)。 结论是:对于典型请求和长上下文请求,API-key + 限流的 MaaS gateway 不会带来超出噪声范围的可测开销, 因此可以作为生产入口提供服务。仅 decode 的输出速率为 33 tok/s(场景 ①)/ 16 tok/s(场景 ②); TPS 列是 total-token(输入 + 输出)口径。MTP speculative decoding 已开启。由于这是单个 TP=8 实例, 因此 TPS 不能与本指南中的 2-replica 模型直接比较。
通过 MaaS gateway 发送长上下文请求时,需要提高 gateway 的 request-body buffer——17.5k 场景
(~85 KB streaming body)超过了默认限制,并会一直卡住,直到增大 MaaS gateway 上的
ClientTrafficPolicy.connection.bufferLimit。内部 KServe 入口没有此限制。以上数值均为修复后的结果。