DeepSeek-V4-Flash (W8A8)
deepseek_v4 架构模型 — 256-expert MoE,采用 MLA + DSA 稀疏注意力
和原生 MTP speculative head,以 W8A8(int8 attention + expert,
~280 GB weights,70 shards,43 layers)方式提供服务。由于 ~280 GB 的 weights 无法放入单个
8 × 32 GB 节点,因此它已在 Ascend 910B3(64 GB/card)跨两个
节点 = 16 cards 上进行验证,作为一个聚合后的 DP2 × TP=8 + EP16 服务,
通过 Alauda AI 的 InferNex 接口使用 vLLM-Ascend nightly engine。它增加了一个 mooncake
跨 rank KV store,使两个数据并行 rank 共享 prefix KV,而且两个 benchmark
场景都通过 MaaS gateway(API-key)入口以并发扫描(8 / 16 / 32)的方式驱动。
模型标识
W8A8 ModelCar 作为一个 OCI Image Layout tar 分发在内部 package
store(上方链接)中,而不是公共 Docker Hub image。集群拉取的是 OCI image,不是
tar,因此请先导入到你自己的 registry 一次,然后将 model.uri 指向那里——
请参见下面的 Deploy 部分。该 benchmark 本身使用的是按
每个节点一个 node-local PVC 方式预置的 weights;ModelCar 只是同一组 weights 的重新打包版本(manifest
header 记录了该 PVC 替代方案)。
已验证硬件 × 栈
nightly-main image 携带完整的 deepseek_v4 stack 以及 DP2 跨 node
graph + DSA-CP prefix-cache 修复。enable_dsa_cp 是有意开启的——它是
获得非零 prefix-cache hit 的前提,而该 build 在开启它的情况下是稳定的。满足完整
hit gate(见下方 config table)后,prefix caching 可用——在 21k prefix 下单 rank 命中率约 ~90.9 %。
模型配置
部署规格
作为 agg-mc-kv 提供服务——一个单独的 DP2 × TP=8 聚合 加上 两个 DP rank
共享的 mooncake KV store。DP2 的随机路由会把每个用户不断增长的历史分散到两个 rank 上,
因此每个 rank 的本地多轮命中率只有 ~41 %;mooncake store 允许一个 rank 拉取另一个
rank 已经计算好的 prefix KV,将合并后的有效 prefix 复用率提升到 ~84 %。router 保持
random,cache-indexer 为 off:单个聚合端点不需要全局 KV index 或 KV-cache-aware routing——
这与 GLM-5.2 / Qwen3-8B 的聚合范式一致(store 共享 KV;router 保持 random)。
store 会异步写入(写入一个 21k prefix 大约需要 ~30–60 s)。跨 rank 命中会在多轮
agent 会话中出现,其 turn 间隔通常在一分钟或更长;连续的亚秒级复用只会命中同一 rank 的本地
prefix cache。曾经评估过一个单独的 KV-cache-aware routing 方案(用于将后续请求导回持有
cache 的 rank),但最终回退了——在该规模下,这个 stack 没有带来收益,因此生产形态保持
random + mooncake store。
部署
自包含 InferNex manifest(engine 内联在 LLMInferenceService leader +
worker templates + hermes-router preset 中,跨两个 node 使用 DP2 × TP=8 并配备 mooncake
store):
基准结果
闭环 aiperf 0.7.0,DP2 × TP=8(16 × 910B3 64 GB),通过产品
MaaS gateway 驱动。并发扫描 8 / 16 / 32,每档 480 个 requests(所有档位均为
0 error / 0 mismatch)。头部数字对应的是生产 agg-mc-kv 配置——FULL_DECODE_ONLY
graph + mooncake 跨 rank KV store,也就是上方 manifest 部署的精确配置——对应场景 ②(多轮嵌套长上下文),
即该 store 目标的 agent 风格 workload。TTFT / E2E 以 s 计,ITL 以 ms 计;decode = 仅输出 tok/s(实测),
TPS = 总 tokens/s(输入 + 输出,计算得出;prefill 主导)。
场景 ② — 多轮对话,生产 agg-mc-kv(ISL ~17.5k / OSL 128)
mooncake 跨 rank KV store 正是让这一方案更快的原因:它将多轮 prefix 复用率从 ~41 %(每 rank 本地)提升到 ~84 %(合并后的有效复用)。在并发 32 下,沿着部署 演进所经过的配置逐步运行同一场景 ②,可以看出增益来自哪里:
配置演进 — 场景 ②,并发 32
→ graph + store 一起,相比同一并发下的基础聚合,TTFT 提升约 ~5.3× / E2E 提升约 ~4.8× / TPS 提升约 ~4.8×。
场景 ① — 固定长度 system-prompt 复用(ISL ~8k / OSL 128),基础 agg
8k 固定 prompt 场景仅在 基础聚合 配置上测量(graph
- mooncake 未对其单独重新运行),因此请将这些结果视为下限——生产配置会像场景 ② 一样提升它们:
如何阅读这些结果。 每个档位都以 480/480 完成,零 error、零 output mismatch。随着并发上升,系统吞吐量(decode / TPS)上升 (次线性、趋于饱和),而尾延迟(TTFT / ITL / E2E)也会上升——这是更多 in-flight requests 带来的排队成本。TPS 是总 token(输入 + 输出) 口径的指标,并且是 prefill 主导(ISL 8k / 17.5k,OSL 128);仅解码输出速率则是单独的 “Decode” 列。
这些数字不能直接与本指南中的其他模型比较:这里采用的是并发扫描(而不是 Qwen 模型使用的固定并发 4 运行), 使用的是 910B3 64 GB 卡(而不是 910B4 32 GB),并且拓扑为 16-card DP2 × TP=8。请将它们视为 这个特定大型 MoE 部署的运行边界,而不是跨模型排名。