DeepSeek-V4-Flash (W8A8)
deepseek_v4架构模型 — 一个包含 256 个专家的 MoE,采用 MLA + DSA 稀疏注意力
和原生 MTP 推测头,以 W8A8 形式提供(int8 注意力 + 专家,
权重约 280 GB、70 个分片、43 层)。由于权重约为 280 GB,无法容纳在单个
8 × 32 GB 节点中,因此已在 Ascend 910B3(64 GB/卡)跨两个
节点 = 16 张卡上验证为单个聚合的 DP2 × TP=8 + EP16 服务,并通过 Alauda AI Platform 的 InferNex 界面使用 vLLM-Ascend nightly 引擎。它添加了一个 mooncake
跨 rank KV 存储,使两个数据并行 rank 共享前缀 KV;两个基准测试场景均通过
MaaS 网关(API-key)入口以并发度扫描方式执行(8 / 16 / 32)。
模型标识
W8A8 ModelCar 以 OCI Image Layout tar 的形式分发在内部软件包存储中,而不是公共 Docker Hub 镜像。将上方链接中的 <model-package-host> 替换为 Alauda 为该环境提供的软件包存储地址。集群拉取的是 OCI 镜像,而不是 tar,因此请将其导入您自己的 registry 一次,并将 model.uri 指向该 registry ——
详见下方的 Deploy 部分。基准测试本身使用每个节点上暂存于节点本地 PVC中的权重执行;ModelCar 是重新打包后的相同权重(其 manifest
标头记录了该 PVC 替代方案)。
已验证的硬件 × 技术栈
nightly-main 镜像包含完整的 deepseek_v4 技术栈,以及 DP2 跨节点
图和 DSA-CP 前缀缓存修复。enable_dsa_cp 是特意保持启用的——它是实现非零前缀缓存命中的
前提条件,并且此构建在启用该选项时稳定。在满足完整命中门槛后(请参阅配置表),前缀缓存即可工作——在 21k
前缀下,单 rank 命中率约为 90.9%。
模型配置
部署规格
以 agg-mc-kv 提供服务——单个 DP2 × TP=8 聚合服务,加上由两个 DP rank 共享的 mooncake KV store。DP2 随机路由会将每个用户不断增长的历史记录分散到两个 rank,因此每个 rank 的本地多轮命中率仅为 ~41%;mooncake store 允许一个 rank 拉取另一个 rank 已计算的前缀 KV,从而将合并后的有效前缀复用率提升至 ~84%。路由器保持为 random,cache-indexer 保持关闭:单个聚合端点不需要全局 KV 索引或感知 KV cache 的路由——这与 GLM-5.2 / Qwen3-8B 的聚合范式一致(store 共享 KV;路由器保持随机)。
store 会异步写入(写入一个 21k 前缀约需 ~30–60 秒)。对于多轮智能体会话,如果轮次之间的间隔大约为一分钟或更长时间,跨 rank 命中才会生效;连续且间隔小于一秒的复用只能命中同一 rank 的本地前缀缓存。我们曾单独评估过一种感知 KV cache 的路由方案(将后续请求引导回持有该缓存的 rank),但已回退——在当前技术栈和此规模下没有带来任何收益,因此生产形态仍为 random + mooncake store。
部署
自包含的 InferNex manifest(引擎内联在 LLMInferenceService leader + worker 模板 + hermes-router preset 中,DP2 × TP=8 跨两个节点,并使用 mooncake store):
基准测试结果
闭环 aiperf 0.7.0,DP2 × TP=8(16 × 910B3 64 GB),通过产品
MaaS 网关驱动。并发度测试为 8 / 16 / 32,每档 480 个请求(所有档位均为
0 错误 / 0 不匹配)。核心数据采用生产环境 agg-mc-kv
配置——FULL_DECODE_ONLY 图 + mooncake 跨 rank KV store,即上述 manifest 部署的确切配置——
测试场景为场景 ②(多轮嵌套长上下文),也就是该 store 所针对的智能体风格工作负载。TTFT / E2E
单位为秒,ITL 单位为毫秒;decode = 仅输出 tok/s(实测),TPS = 总 tokens/s(输入 + 输出,计算值;以 prefill 为主)。
场景 ②——多轮对话,生产环境 agg-mc-kv(ISL ~17.5k / OSL 128)
mooncake 跨 rank KV store 是实现这一性能的关键:它将多轮前缀复用率从约 41%(每个 rank 的本地复用) 提升至约 84%(合并后的有效复用率)。在并发度 32 下,使用部署演进过程中的配置运行同一 场景 ②,可以看出性能收益的来源:
配置演进——场景 ②,并发度 32
→ 与相同并发度下的基础聚合配置相比,graph + store 组合使 TTFT 提升约 5.3 倍 / E2E 提升约 4.8 倍 / TPS 提升约 4.8 倍。
场景 ①——固定长度 system prompt 复用(ISL ~8k / OSL 128),基础 agg
8k 固定 prompt 场景仅在基础聚合配置下进行了测试(graph
- mooncake 未单独针对该场景重新运行),因此应将这些数据视为下限—— 生产配置会像场景 ② 一样显著提升这些指标:
读取方式。每个档位均以零错误、零输出不匹配完成 480/480 个请求。随着并发度上升,系统吞吐量(decode / TPS)会提升 (呈次线性增长并逐渐饱和),同时尾延迟(TTFT / ITL / E2E)也会上升——这是在途请求增多带来的排队成本。TPS 是总 token(输入 + 输出)指标, 且以 prefill 为主(ISL 8k / 17.5k、OSL 128);仅解码的输出速率则单独列在“Decode”列中。
这些数据不能直接与本指南中的其他模型进行比较:这里采用的是并发度测试(而非 Qwen 模型使用的固定并发度 4 测试),运行在 910B3 64 GB 卡上(而非 910B4 32 GB),拓扑为 16 卡 DP2 × TP=8。应将其视为这一特定大型 MoE 部署的运行范围,而不是跨模型排名。