DeepSeek-V4-Flash (W4A8)

deepseek_v4 架构模型——采用 MLA + DSA 稀疏注意力的 256 专家 MoE,以及原生 MTP 推测头,以 W4A8(约 151 GB 权重,43 层)提供服务。 已通过 Alauda AI Platform 的 InferNex 界面,使用 vLLM-Ascend nightly 引擎在 Ascend 910B4(32 GB/卡) 上完成验证。由于权重需要全部 8 张卡,拓扑为 1 个实例 × TP=8(+ 专家并行);此外,两个基准测试场景还通过 MaaS 网关(API 密钥) 入口运行,同时保留内部 KServe 入口。

模型标识

字段值
发布者DeepSeek
架构deepseek_v4 — 256 专家 MoE(6 个专家/token + 1 个共享专家)+ MLA + DSA 稀疏注意力 + 原生 MTP
量化W4A8(约 151 GB 权重,43 层);MIT 许可证
模型来源(W4A8)https://www.modelscope.cn/models/gdydems/DeepSeek-V4-Flash-w4a8-mtp

已验证的硬件 × 软件栈

平台引擎版本 / 配置状态
Ascend 910B4 32 GB × 8(1 个实例 × TP=8 + EP)vLLM-Ascendnightly-releases-v0.22.1rc-openeuler(vLLM 0.22.1,CANN 9.0.0)✅ 闭环、双场景性能测试(n=3)、agg-base、两个入口(KServe + MaaS)
NOTE

发行版固定的 nightly nightly-releases-v0.22.1rc-openeuler(与 Qwen3.6-27B 使用相同镜像)包含完整的 deepseek_v4 软件栈。enable_dsa_cp 特意设置为 关闭(上游 DSA-CP 索引缓冲区 bug 会导致此版本在持续进行 8k MTP 解码时崩溃)。前缀缓存已启用,但命中率为 0——DSA 稀疏注意力会按查询选择 KV,因此共享前缀无法直接复用;它几乎不产生额外开销,而相较旧版本的加速来自 nightly 软件栈本身,而非前缀缓存。

模型配置

参数值
张量并行 (tensor-parallel-size)8
从节点(实例)1(= 8 张卡)
专家并行 (enable-expert-parallel)on
max-model-len32768
max-num-batched-tokens2048
max-num-seqs4
gpu-memory-utilization0.90(32 GB 卡的 KV/激活值平衡)
block-size128
max_tokens(输出,基准测试固定)128
量化ascend(W4A8)
推测解码(MTP)mtp,1 个 token
前缀缓存已启用,但命中率为 0%(DSA 稀疏注意力)

部署规格

仅以 agg-base 方式提供服务 — 聚合,hermes-router 策略为 random。由于只有一个 TP=8 实例,router 只有一个 endpoint(空操作);保留此结构是为了保持一致性。跨实例 KV 存储 / KV-cache 感知路由(agg-mc-kv)不适用:约 151 GB 的权重占满了全部 8 张卡,因此只能容纳一个副本,也没有第二个实例可共享 KV。

组件agg-base
hermes-router (EPP)✅ 已启动(单个 endpoint,空操作)
路由策略random
cache-indexer / mooncake KV store—(不适用于单个实例)

部署

完整的 InferNex 清单(引擎内联在 LLMInferenceService + hermes-router 预设中,1 个副本 × TP=8):

base=https://raw.githubusercontent.com/alauda/aml-docs/master/docs/en/plan/validated_models/ascend/assets/deepseek-v4-flash-w4a8
# edit namespace / model.uri registry / image tag first, then:
kubectl apply -f $base/deepseek-v4-flash-w4a8-agg-base-llmisvc.yaml

# Internal KServe ingress (no auth):
curl -s http://<gateway>/<namespace>/deepseek-v4-flash-w4a8-agg-base/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"model":"gdydems/DeepSeek-V4-Flash-w4a8-mtp","messages":[{"role":"user","content":"hello"}]}'

# Product MaaS gateway (OpenAI-compatible, API-key auth + token rate limiting):
curl -s http://<maas-gateway>/v1/chat/completions \
  -H "Authorization: Bearer $MAAS_API_KEY" \
  -H 'Content-Type: application/json' \
  -d '{"model":"gdydems/DeepSeek-V4-Flash-w4a8-mtp","messages":[{"role":"user","content":"hello"}]}'

基准测试结果

闭环 aiperf 0.7.0,TP=8 × 1 个副本(8 × 910B4),并发数为 4,agg-base。 两个场景——① 复用 8k 系统提示词和 ② 17.5k 多轮对话——各 240 个请求, 输出固定为 128 个 token,n=3(所有运行均为 240/240,零错误)。每个场景都通过两个入口进行测试:内部 KServe Service(无身份验证)和产品的 MaaS 网关(Envoy + API 密钥身份验证 + token 速率限制——面向客户的 OpenAI endpoint)。TTFT / E2E 单位为 ms,ITL 单位为 ms,TPS = 总 token/s。

场景 ① — 固定长度系统提示词复用(ISL ~8k / OSL 128)

入口TTFT 平均值 (ms)ITL 平均值 (ms)E2E 平均值 (ms)TPS(输入+输出)
KServe(内部)375890.9153002124
MaaS 网关(API 密钥)387291.4154812099

场景 ② — 多轮对话(ISL ~17.5k / OSL 128)

入口TTFT 平均值 (ms)ITL 平均值 (ms)E2E 平均值 (ms)TPS(输入+输出)
KServe(内部)9789182.1329182189
MaaS 网关(API 密钥)9003175.9313382306
NOTE

如何解读这些数据。所有运行均以稳定的每个实例 2 个在途请求完成 240/240,零错误(n=3 平均值)。MaaS 网关与内部 KServe 的差异在运行间抖动范围内(场景 ① 中网关约高出 ~1–3%,即额外几百毫秒的跳转开销;场景 ② 的两组 n=3 测试在不同时间进行,结果反而相差几个百分点)。结论:对于典型请求和长上下文请求,API 密钥 + 速率限制的 MaaS 网关不会产生超出噪声范围的可测量开销,因此可将其用作生产环境入口。仅解码输出速率为 33 tok/s(场景 ①)/ 16 tok/s(场景 ②);TPS 列的统计口径为总 token 数(输入 + 输出)。MTP 推测解码已启用。这是单个 TP=8 实例,因此 TPS 不能直接与本指南中的 2 副本模型进行比较。

WARNING

通过 MaaS 网关发送的长上下文请求需要调高网关的请求体缓冲区——17.5k 场景(约 85 KB 的流式请求体)超过默认限制,并会一直挂起,直到增大 MaaS 网关上的 ClientTrafficPolicy.connection.bufferLimit。内部 KServe 入口没有此限制。上面的数据是在修复后测得的。