DeepSeek-V4-Flash (W4A8)

deepseek_v4 架构模型 —— 采用 MLA + DSA 稀疏注意力的 256 专家 MoE, 以及原生 MTP speculative head,按 W4A8 方式提供服务(~151 GB 权重,43 层)。 已在 Ascend 910B4(32 GB/卡) 上,通过 Alauda AI 的 InferNex 界面使用 vLLM-Ascend nightly 引擎完成验证。由于权重需要占满全部 8 张卡,拓扑为 1 个实例 × TP=8(+ expert parallel),两个基准场景也同时通过 MaaS gateway(API-key)入口 和内部 KServe 入口进行驱动。

模型标识

字段值
发布者DeepSeek
架构deepseek_v4 — 256 专家 MoE(6 experts/token + 1 shared)+ MLA + DSA 稀疏注意力 + 原生 MTP
量化W4A8 (~151 GB 权重,43 层);MIT license
模型来源(W4A8)https://www.modelscope.cn/models/gdydems/DeepSeek-V4-Flash-w4a8-mtp

已验证硬件 × 栈

平台引擎版本 / 配置状态
Ascend 910B4 32 GB × 8(1 个实例 × TP=8 + EP)vLLM-Ascendnightly-releases-v0.22.1rc-openeuler(vLLM 0.22.1,CANN 9.0.0)✅ 闭环,2 场景性能测试(n=3),agg-base,两个入口(KServe + MaaS)
NOTE

按发布版本固定的 nightly nightly-releases-v0.22.1rc-openeuler(与 Qwen3.6-27B 使用相同镜像)包含完整的 deepseek_v4 栈。enable_dsa_cp 故意保持为 off(上游 DSA-CP 索引缓冲区 bug 会在该构建上导致持续 8k MTP decode 崩溃)。 Prefix caching 已启用,但 命中率为 0 —— DSA 稀疏注意力会按 query 选择 KV, 因此共享前缀无法直接复用;它几乎没有成本,且相较旧版本的加速来自 nightly 栈 本身,而不是 prefix caching。

模型配置

参数值
Tensor parallelism (tensor-parallel-size)8
Replicas(实例)1(= 8 张卡)
Expert parallelism (enable-expert-parallel)on
max-model-len32768
max-num-batched-tokens2048
max-num-seqs4
gpu-memory-utilization0.90(32 GB 卡 KV/activation 平衡)
block-size128
max_tokens(输出,benchmark 固定)128
量化ascend(W4A8)
Speculative decoding(MTP)mtp,1 token
Prefix caching已启用,但命中率为 0%(DSA 稀疏注意力)

部署规格

仅以 agg-base 方式提供服务——aggregation,hermes-router 策略为 random。 在单个 TP=8 实例下,router 只有一个 endpoint(等同于 no-op);保留该结构是为了保持一致性。 跨实例 KV store / 感知 KV-cache 的路由(agg-mc-kv)不适用:~151 GB 权重会占满全部 8 张卡, 因此只能容纳一个副本,也不存在可共享 KV 的第二个实例。

组件agg-base
hermes-router(EPP)✅ 已启动(单 endpoint,no-op)
路由策略random
cache-indexer / mooncake KV store—(不适用于单实例)

部署

自包含的 InferNex 清单(引擎内联在 LLMInferenceService + hermes-router 预设中,1 个副本 × TP=8):

base=https://raw.githubusercontent.com/alauda/aml-docs/master/docs/en/inference_guide/assets/deepseek-v4-flash-w4a8
# edit namespace / model.uri registry / image tag first, then:
kubectl apply -f $base/deepseek-v4-flash-w4a8-agg-base-llmisvc.yaml

# Internal KServe ingress (no auth):
curl -s http://<gateway>/<namespace>/deepseek-v4-flash-w4a8-agg-base/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"model":"gdydems/DeepSeek-V4-Flash-w4a8-mtp","messages":[{"role":"user","content":"hello"}]}'

# Product MaaS gateway (OpenAI-compatible, API-key auth + token rate limiting):
curl -s http://<maas-gateway>/v1/chat/completions \
  -H "Authorization: Bearer $MAAS_API_KEY" \
  -H 'Content-Type: application/json' \
  -d '{"model":"gdydems/DeepSeek-V4-Flash-w4a8-mtp","messages":[{"role":"user","content":"hello"}]}'

基准测试结果

闭环 aiperf 0.7.0,TP=8 × 1 replica(8 × 910B4),并发 4,agg-base。两个场景—— ① 8k system-prompt 复用和 ② 17.5k 多轮对话——各发送 240 个请求,输出固定为 128 tokens,n=3 (所有运行均为 240/240,无错误)。每个场景都通过两个入口进行驱动:内部 KServe Service (无认证)以及产品 MaaS gateway(Envoy + API-key 认证 + token 限流——面向客户的 OpenAI 端点)。 TTFT / E2E 单位为 ms,ITL 单位为 ms,TPS = total tokens/s。

场景 ① —— 固定长度 system-prompt 复用(ISL ~8k / OSL 128)

入口TTFT 平均值(ms)ITL 平均值(ms)E2E 平均值(ms)TPS(in+out)
KServe(内部)375890.9153002124
MaaS gateway(API key)387291.4154812099

场景 ② —— 多轮对话(ISL ~17.5k / OSL 128)

入口TTFT 平均值(ms)ITL 平均值(ms)E2E 平均值(ms)TPS(in+out)
KServe(内部)9789182.1329182189
MaaS gateway(API key)9003175.9313382306
NOTE

如何解读这些结果。 所有运行都在每个实例稳定保持 2 个在途请求的条件下完成,且 240/240 全部成功、无错误 (n=3 平均值)。MaaS gateway 与内部 KServe 的差异处于运行间抖动范围内(场景 ① 在 gateway 上约高出 1–3%,即额外一跳带来几百毫秒的开销;场景 ② 的两组 n=3 数据在不同时间采集,结果则反向低了几个百分点)。 结论是:对于典型请求和长上下文请求,API-key + 限流的 MaaS gateway 不会带来超出噪声范围的可测开销, 因此可以作为生产入口提供服务。仅 decode 的输出速率为 33 tok/s(场景 ①)/ 16 tok/s(场景 ②); TPS 列是 total-token(输入 + 输出)口径。MTP speculative decoding 已开启。由于这是单个 TP=8 实例, 因此 TPS 不能与本指南中的 2-replica 模型直接比较。

WARNING

通过 MaaS gateway 发送长上下文请求时,需要提高 gateway 的 request-body buffer——17.5k 场景 (~85 KB streaming body)超过了默认限制,并会一直卡住,直到增大 MaaS gateway 上的 ClientTrafficPolicy.connection.bufferLimit。内部 KServe 入口没有此限制。以上数值均为修复后的结果。