DeepSeek-V4-Flash (W8A8)

deepseek_v4架构模型 — 一个包含 256 个专家的 MoE,采用 MLA + DSA 稀疏注意力 和原生 MTP 推测头,以 W8A8 形式提供(int8 注意力 + 专家, 权重约 280 GB、70 个分片、43 层)。由于权重约为 280 GB,无法容纳在单个 8 × 32 GB 节点中,因此已在 Ascend 910B3(64 GB/卡)跨两个 节点 = 16 张卡上验证为单个聚合的 DP2 × TP=8 + EP16 服务,并通过 Alauda AI Platform 的 InferNex 界面使用 vLLM-Ascend nightly 引擎。它添加了一个 mooncake 跨 rank KV 存储,使两个数据并行 rank 共享前缀 KV;两个基准测试场景均通过 MaaS 网关(API-key)入口以并发度扫描方式执行(8 / 16 / 32)。

模型标识

字段值
发布者DeepSeek
架构deepseek_v4 — 256 专家 MoE(6 个专家/令牌 + 1 个共享专家)+ MLA + DSA 稀疏注意力 + 原生 MTP
量化W8A8(W8A8_DYNAMIC,int8 注意力 + 专家;权重约 280 GB、70 个分片、43 层);MIT 许可证
模型源(W8A8)https://www.modelscope.cn/models/Eco-Tech/DeepSeek-V4-Flash-w8a8-mtp
ModelCar(OCI Image Layout tar)http://<model-package-host>/packages/aml-models-oci/v0.1.0/DeepSeek-V4-Flash-w8a8-mtp/DeepSeek-V4-Flash-w8a8-mtp.oci.tar
NOTE

W8A8 ModelCar 以 OCI Image Layout tar 的形式分发在内部软件包存储中,而不是公共 Docker Hub 镜像。将上方链接中的 <model-package-host> 替换为 Alauda 为该环境提供的软件包存储地址。集群拉取的是 OCI 镜像,而不是 tar,因此请将其导入您自己的 registry 一次,并将 model.uri 指向该 registry —— 详见下方的 Deploy 部分。基准测试本身使用每个节点上暂存于节点本地 PVC中的权重执行;ModelCar 是重新打包后的相同权重(其 manifest 标头记录了该 PVC 替代方案)。

已验证的硬件 × 技术栈

平台引擎版本 / 配置状态
Ascend 910B3 64 GB × 16,2 个节点(1 个实例,DP2 × TP=8 + EP16)vLLM-Ascendnightly-main-openeuler(vLLM 0.23.0)✅ 闭环,2 个场景的并发度扫描(8/16/32),每档 480 个请求,0 错误 / 0 不匹配,聚合 + mooncake KV 存储,通过 MaaS 网关
NOTE

nightly-main 镜像包含完整的 deepseek_v4 技术栈,以及 DP2 跨节点 图和 DSA-CP 前缀缓存修复。enable_dsa_cp 是特意保持启用的——它是实现非零前缀缓存命中的 前提条件,并且此构建在启用该选项时稳定。在满足完整命中门槛后(请参阅配置表),前缀缓存即可工作——在 21k 前缀下,单 rank 命中率约为 90.9%。

模型配置

参数值
张量并行(tensor-parallel-size)8
数据并行(data-parallel-size)2(每个节点 1 个 rank,跨节点)
副本(实例)1 个聚合服务(leader + worker = 16 张卡)
专家并行(enable-expert-parallel)启用(EP16)
max-model-len200000(智能体长上下文)
max-num-batched-tokens8192
max-num-seqs32
gpu-memory-utilization0.92(64 GB 卡——权重约占 20.6 GB/卡,为 KV 留有充足空间)
block-size128
量化ascend(W8A8_DYNAMIC)
推测解码(MTP)mtp,1 个令牌(草稿头上的 enforce_eager)
解码图FULL_DECODE_ONLY(enable_npugraph_ex)
DSA 上下文并行(enable_dsa_cp)启用(前缀缓存命中的前提条件)
前缀缓存已启用且有效(单 rank 命中率约 90.9%;需要 VLLM_ASCEND_ENABLE_FLASHCOMM1=1 + VLLM_PREFIX_CACHE_RETENTION_INTERVAL=16384 + 前缀 ≥ 16384)
工具调用 / 推理--tool-call-parser deepseek_v4 + --enable-auto-tool-choice + --reasoning-parser deepseek_v4(默认关闭思考)

部署规格

以 agg-mc-kv 提供服务——单个 DP2 × TP=8 聚合服务,加上由两个 DP rank 共享的 mooncake KV store。DP2 随机路由会将每个用户不断增长的历史记录分散到两个 rank,因此每个 rank 的本地多轮命中率仅为 ~41%;mooncake store 允许一个 rank 拉取另一个 rank 已计算的前缀 KV,从而将合并后的有效前缀复用率提升至 ~84%。路由器保持为 random,cache-indexer 保持关闭:单个聚合端点不需要全局 KV 索引或感知 KV cache 的路由——这与 GLM-5.2 / Qwen3-8B 的聚合范式一致(store 共享 KV;路由器保持随机)。

组件agg-mc-kv
hermes-router(EPP)✅ 已启动(单个 leader 端点,random 不执行任何操作)
路由策略random
mooncake KV store(AscendStoreConnector)✅(在两个 DP rank 之间共享)
cache-indexer / 感知 KV cache 的路由—(单个聚合端点不需要)
跨 rank 前缀 KV 复用是(合并后的有效复用率约为 ~84%)
NOTE

store 会异步写入(写入一个 21k 前缀约需 ~30–60 秒)。对于多轮智能体会话,如果轮次之间的间隔大约为一分钟或更长时间,跨 rank 命中才会生效;连续且间隔小于一秒的复用只能命中同一 rank 的本地前缀缓存。我们曾单独评估过一种感知 KV cache 的路由方案(将后续请求引导回持有该缓存的 rank),但已回退——在当前技术栈和此规模下没有带来任何收益,因此生产形态仍为 random + mooncake store。

部署

自包含的 InferNex manifest(引擎内联在 LLMInferenceService leader + worker 模板 + hermes-router preset 中,DP2 × TP=8 跨两个节点,并使用 mooncake store):

规格文件
agg-mc-kv,DP2 × TP=8deepseek-v4-flash-w8a8-agg-mc-kv-llmisvc.yaml
base=https://raw.githubusercontent.com/alauda/aml-docs/master/docs/en/plan/validated_models/ascend/assets/deepseek-v4-flash-w8a8

# 1. Import the ModelCar (OCI Image Layout tar) into your own registry once — the cluster
#    pulls an OCI image, not the tar. skopeo does the multi-arch (amd64+arm64) push in one go:
curl -sO http://<model-package-host>/packages/aml-models-oci/v0.1.0/DeepSeek-V4-Flash-w8a8-mtp/DeepSeek-V4-Flash-w8a8-mtp.oci.tar
skopeo copy --all \
  oci-archive:DeepSeek-V4-Flash-w8a8-mtp.oci.tar:v0.1.0 \
  docker://<your-registry>/modelcar-deepseek-v4-flash-w8a8-mtp:v0.1.0

# 2. Edit the manifest: set the namespace, set model.uri to the registry ref you just
#    pushed, and the image tag (match your CANN / host driver). Then apply — the
#    storageInitializer pulls the ModelCar to /mnt/models in each DP rank.
#    (Alternative: stage the weights on a node-local PVC per node — see the manifest header.)
kubectl apply -f $base/deepseek-v4-flash-w8a8-agg-mc-kv-llmisvc.yaml

# Internal KServe ingress (no auth):
curl -s http://<gateway>/<namespace>/deepseek-v4-flash-w8a8-agg-mc-kv/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"model":"deepseek-v4-flash-w8a8","messages":[{"role":"user","content":"hello"}]}'

# Product MaaS gateway (OpenAI-compatible, API-key auth + token rate limiting):
curl -s http://<maas-gateway>/v1/chat/completions \
  -H "Authorization: Bearer $MAAS_API_KEY" \
  -H 'Content-Type: application/json' \
  -d '{"model":"deepseek-v4-flash-w8a8","messages":[{"role":"user","content":"hello"}]}'

基准测试结果

闭环 aiperf 0.7.0,DP2 × TP=8(16 × 910B3 64 GB),通过产品 MaaS 网关驱动。并发度测试为 8 / 16 / 32,每档 480 个请求(所有档位均为 0 错误 / 0 不匹配)。核心数据采用生产环境 agg-mc-kv 配置——FULL_DECODE_ONLY 图 + mooncake 跨 rank KV store,即上述 manifest 部署的确切配置—— 测试场景为场景 ②(多轮嵌套长上下文),也就是该 store 所针对的智能体风格工作负载。TTFT / E2E 单位为秒,ITL 单位为毫秒;decode = 仅输出 tok/s(实测),TPS = 总 tokens/s(输入 + 输出,计算值;以 prefill 为主)。

场景 ②——多轮对话,生产环境 agg-mc-kv(ISL ~17.5k / OSL 128)

并发度TTFT 平均值(秒)ITL 平均值(毫秒)E2E 平均值(秒)Decode(tok/s)TPS(输入+输出)
81.767210.993.613198
161.369012.8159.322467
321.9412317.6230.932559

mooncake 跨 rank KV store 是实现这一性能的关键:它将多轮前缀复用率从约 41%(每个 rank 的本地复用) 提升至约 84%(合并后的有效复用率)。在并发度 32 下,使用部署演进过程中的配置运行同一 场景 ②,可以看出性能收益的来源:

配置演进——场景 ②,并发度 32

配置TTFT 平均值(秒)E2E 平均值(秒)Decode(tok/s)TPS(输入+输出)
agg(基础配置——eager,无 store)10.283.748.16781
+ FULL_DECODE_ONLY 图3.229.3138.719554
+ mooncake KV store(生产环境)1.917.6230.932559

→ 与相同并发度下的基础聚合配置相比,graph + store 组合使 TTFT 提升约 5.3 倍 / E2E 提升约 4.8 倍 / TPS 提升约 4.8 倍。

场景 ①——固定长度 system prompt 复用(ISL ~8k / OSL 128),基础 agg

8k 固定 prompt 场景仅在基础聚合配置下进行了测试(graph

  • mooncake 未单独针对该场景重新运行),因此应将这些数据视为下限—— 生产配置会像场景 ② 一样显著提升这些指标:
并发度TTFT 平均值(秒)ITL 平均值(毫秒)E2E 平均值(秒)Decode(tok/s)TPS(输入+输出)
83.1930541.924.21539
163.4235047.842.32689
325.7149368.359.23759
NOTE

读取方式。每个档位均以零错误、零输出不匹配完成 480/480 个请求。随着并发度上升,系统吞吐量(decode / TPS)会提升 (呈次线性增长并逐渐饱和),同时尾延迟(TTFT / ITL / E2E)也会上升——这是在途请求增多带来的排队成本。TPS 是总 token(输入 + 输出)指标, 且以 prefill 为主(ISL 8k / 17.5k、OSL 128);仅解码的输出速率则单独列在“Decode”列中。

这些数据不能直接与本指南中的其他模型进行比较:这里采用的是并发度测试(而非 Qwen 模型使用的固定并发度 4 测试),运行在 910B3 64 GB 卡上(而非 910B4 32 GB),拓扑为 16 卡 DP2 × TP=8。应将其视为这一特定大型 MoE 部署的运行范围,而不是跨模型排名。