DeepSeek-V4-Flash (W8A8)

deepseek_v4 架构模型 — 256-expert MoE,采用 MLA + DSA 稀疏注意力 和原生 MTP speculative head,以 W8A8(int8 attention + expert, ~280 GB weights,70 shards,43 layers)方式提供服务。由于 ~280 GB 的 weights 无法放入单个 8 × 32 GB 节点,因此它已在 Ascend 910B3(64 GB/card)跨两个 节点 = 16 cards 上进行验证,作为一个聚合后的 DP2 × TP=8 + EP16 服务, 通过 Alauda AI 的 InferNex 接口使用 vLLM-Ascend nightly engine。它增加了一个 mooncake 跨 rank KV store,使两个数据并行 rank 共享 prefix KV,而且两个 benchmark 场景都通过 MaaS gateway(API-key)入口以并发扫描(8 / 16 / 32)的方式驱动。

模型标识

FieldValue
PublisherDeepSeek
Architecturedeepseek_v4 — 256-expert MoE(6 experts/token + 1 shared)+ MLA + DSA sparse attention + native MTP
QuantizationW8A8(W8A8_DYNAMIC,int8 attention + expert;~280 GB weights,70 shards,43 layers);MIT license
Model source (W8A8)https://www.modelscope.cn/models/Eco-Tech/DeepSeek-V4-Flash-w8a8-mtp
ModelCar (OCI Image Layout tar)http://package-minio.alauda.cn:9199/packages/aml-models-oci/v0.1.0/DeepSeek-V4-Flash-w8a8-mtp.oci.tar
NOTE

W8A8 ModelCar 作为一个 OCI Image Layout tar 分发在内部 package store(上方链接)中,而不是公共 Docker Hub image。集群拉取的是 OCI image,不是 tar,因此请先导入到你自己的 registry 一次,然后将 model.uri 指向那里—— 请参见下面的 Deploy 部分。该 benchmark 本身使用的是按 每个节点一个 node-local PVC 方式预置的 weights;ModelCar 只是同一组 weights 的重新打包版本(manifest header 记录了该 PVC 替代方案)。

已验证硬件 × 栈

PlatformEngineVersion / configStatus
Ascend 910B3 64 GB × 16,2 nodes(1 instance,DP2 × TP=8 + EP16)vLLM-Ascendnightly-main-openeuler(vLLM 0.23.0)✅ closed-loop,2 场景 concurrency sweep(8/16/32),每档 480 req,0 error / 0 mismatch,agg + mooncake KV store,通过 MaaS gateway
NOTE

nightly-main image 携带完整的 deepseek_v4 stack 以及 DP2 跨 node graph + DSA-CP prefix-cache 修复。enable_dsa_cp 是有意开启的——它是 获得非零 prefix-cache hit 的前提,而该 build 在开启它的情况下是稳定的。满足完整 hit gate(见下方 config table)后,prefix caching 可用——在 21k prefix 下单 rank 命中率约 ~90.9 %。

模型配置

ParameterValue
Tensor parallelism (tensor-parallel-size)8
Data parallelism (data-parallel-size)2(每个 node 1 个 rank,跨 node)
Replicas (instances)1 个聚合服务(leader + worker = 16 cards)
Expert parallelism (enable-expert-parallel)on(EP16)
max-model-len200000(agent 长上下文)
max-num-batched-tokens8192
max-num-seqs32
gpu-memory-utilization0.92(64 GB card — ~20.6 GB/card weights 为 KV 留出充足空间)
block-size128
Quantizationascend(W8A8_DYNAMIC)
Speculative decoding (MTP)mtp,1 token(draft head 上启用 enforce_eager)
Decode graphFULL_DECODE_ONLY(enable_npugraph_ex)
DSA context parallel (enable_dsa_cp)on(prefix-cache hit 前提)
Prefix caching已启用且有效(单 rank 命中率约 ~90.9 %;需要 VLLM_ASCEND_ENABLE_FLASHCOMM1=1 + VLLM_PREFIX_CACHE_RETENTION_INTERVAL=16384 + prefix ≥ 16384)
Tool calling / reasoning--tool-call-parser deepseek_v4 + --enable-auto-tool-choice + --reasoning-parser deepseek_v4(thinking 默认关闭)

部署规格

作为 agg-mc-kv 提供服务——一个单独的 DP2 × TP=8 聚合 加上 两个 DP rank 共享的 mooncake KV store。DP2 的随机路由会把每个用户不断增长的历史分散到两个 rank 上, 因此每个 rank 的本地多轮命中率只有 ~41 %;mooncake store 允许一个 rank 拉取另一个 rank 已经计算好的 prefix KV,将合并后的有效 prefix 复用率提升到 ~84 %。router 保持 random,cache-indexer 为 off:单个聚合端点不需要全局 KV index 或 KV-cache-aware routing—— 这与 GLM-5.2 / Qwen3-8B 的聚合范式一致(store 共享 KV;router 保持 random)。

Componentagg-mc-kv
hermes-router (EPP)✅ 已启动(单 leader 端点,random 无操作)
Routing strategyrandom
mooncake KV store (AscendStoreConnector)✅(跨两个 DP rank 共享)
cache-indexer / KV-cache-aware routing—(单个聚合端点不需要)
Cross-rank prefix KV reuseyes(~84 % 合并后的有效复用)
NOTE

store 会异步写入(写入一个 21k prefix 大约需要 ~30–60 s)。跨 rank 命中会在多轮 agent 会话中出现,其 turn 间隔通常在一分钟或更长;连续的亚秒级复用只会命中同一 rank 的本地 prefix cache。曾经评估过一个单独的 KV-cache-aware routing 方案(用于将后续请求导回持有 cache 的 rank),但最终回退了——在该规模下,这个 stack 没有带来收益,因此生产形态保持 random + mooncake store。

部署

自包含 InferNex manifest(engine 内联在 LLMInferenceService leader + worker templates + hermes-router preset 中,跨两个 node 使用 DP2 × TP=8 并配备 mooncake store):

SpecFile
agg-mc-kv, DP2 × TP=8deepseek-v4-flash-w8a8-agg-mc-kv-llmisvc.yaml
base=https://raw.githubusercontent.com/alauda/aml-docs/master/docs/en/inference_guide/assets/deepseek-v4-flash-w8a8

# 1. Import the ModelCar (OCI Image Layout tar) into your own registry once — the cluster
#    pulls an OCI image, not the tar. skopeo does the multi-arch (amd64+arm64) push in one go:
curl -sO http://package-minio.alauda.cn:9199/packages/aml-models-oci/v0.1.0/DeepSeek-V4-Flash-w8a8-mtp.oci.tar
skopeo copy --all \
  oci-archive:DeepSeek-V4-Flash-w8a8-mtp.oci.tar:v0.1.0 \
  docker://<your-registry>/modelcar-deepseek-v4-flash-w8a8-mtp:v0.1.0

# 2. Edit the manifest: set the namespace, set model.uri to the registry ref you just
#    pushed, and the image tag (match your CANN / host driver). Then apply — the
#    storageInitializer pulls the ModelCar to /mnt/models in each DP rank.
#    (Alternative: stage the weights on a node-local PVC per node — see the manifest header.)
kubectl apply -f $base/deepseek-v4-flash-w8a8-agg-mc-kv-llmisvc.yaml

# Internal KServe ingress (no auth):
curl -s http://<gateway>/<namespace>/deepseek-v4-flash-w8a8-agg-mc-kv/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"model":"deepseek-v4-flash-w8a8","messages":[{"role":"user","content":"hello"}]}'

# Product MaaS gateway (OpenAI-compatible, API-key auth + token rate limiting):
curl -s http://<maas-gateway>/v1/chat/completions \
  -H "Authorization: Bearer $MAAS_API_KEY" \
  -H 'Content-Type: application/json' \
  -d '{"model":"deepseek-v4-flash-w8a8","messages":[{"role":"user","content":"hello"}]}'

基准结果

闭环 aiperf 0.7.0,DP2 × TP=8(16 × 910B3 64 GB),通过产品 MaaS gateway 驱动。并发扫描 8 / 16 / 32,每档 480 个 requests(所有档位均为 0 error / 0 mismatch)。头部数字对应的是生产 agg-mc-kv 配置——FULL_DECODE_ONLY graph + mooncake 跨 rank KV store,也就是上方 manifest 部署的精确配置——对应场景 ②(多轮嵌套长上下文), 即该 store 目标的 agent 风格 workload。TTFT / E2E 以 s 计,ITL 以 ms 计;decode = 仅输出 tok/s(实测), TPS = 总 tokens/s(输入 + 输出,计算得出;prefill 主导)。

场景 ② — 多轮对话,生产 agg-mc-kv(ISL ~17.5k / OSL 128)

ConcurrencyTTFT avg (s)ITL avg (ms)E2E avg (s)Decode (tok/s)TPS (in+out)
81.767210.993.613198
161.369012.8159.322467
321.9412317.6230.932559

mooncake 跨 rank KV store 正是让这一方案更快的原因:它将多轮 prefix 复用率从 ~41 %(每 rank 本地)提升到 ~84 %(合并后的有效复用)。在并发 32 下,沿着部署 演进所经过的配置逐步运行同一场景 ②,可以看出增益来自哪里:

配置演进 — 场景 ②,并发 32

ConfigTTFT avg (s)E2E avg (s)Decode (tok/s)TPS (in+out)
agg(基础 — eager,no store)10.283.748.16781
+ FULL_DECODE_ONLY graph3.229.3138.719554
+ mooncake KV store(生产)1.917.6230.932559

→ graph + store 一起,相比同一并发下的基础聚合,TTFT 提升约 ~5.3× / E2E 提升约 ~4.8× / TPS 提升约 ~4.8×。

场景 ① — 固定长度 system-prompt 复用(ISL ~8k / OSL 128),基础 agg

8k 固定 prompt 场景仅在 基础聚合 配置上测量(graph

  • mooncake 未对其单独重新运行),因此请将这些结果视为下限——生产配置会像场景 ② 一样提升它们:
ConcurrencyTTFT avg (s)ITL avg (ms)E2E avg (s)Decode (tok/s)TPS (in+out)
83.1930541.924.21539
163.4235047.842.32689
325.7149368.359.23759
NOTE

如何阅读这些结果。 每个档位都以 480/480 完成,零 error、零 output mismatch。随着并发上升,系统吞吐量(decode / TPS)上升 (次线性、趋于饱和),而尾延迟(TTFT / ITL / E2E)也会上升——这是更多 in-flight requests 带来的排队成本。TPS 是总 token(输入 + 输出) 口径的指标,并且是 prefill 主导(ISL 8k / 17.5k,OSL 128);仅解码输出速率则是单独的 “Decode” 列。

这些数字不能直接与本指南中的其他模型比较:这里采用的是并发扫描(而不是 Qwen 模型使用的固定并发 4 运行), 使用的是 910B3 64 GB 卡(而不是 910B4 32 GB),并且拓扑为 16-card DP2 × TP=8。请将它们视为 这个特定大型 MoE 部署的运行边界,而不是跨模型排名。