Qwen3-32B
标准 Qwen3 稠密模型,32B 参数,采用 BF16(在四张卡上约为
~62 GB)。已在 Ascend 910B4(32 GB/卡) 上通过 Alauda AI Platform 的 InferNex
界面,使用 vLLM-Ascend v0.18.0 完成验证。经验证的 8 卡拓扑为 TP=4 × 2
副本,并在两种部署规格下进行了基准测试 — agg-base(负载均衡)和
agg-mc-kv(跨实例 KV cache 存储 + 感知 KV cache 的路由)。
模型标识
已验证的硬件 × 软件栈
模型配置
定义服务范围的 vLLM-Ascend 引擎标志(两种部署规格相同):
部署规格
两种规格均通过 InferNex(KServe
LLMInferenceService + InferNex-Bridge + hermes-router)运行在相同的 8 张卡(2 × TP=4)上。agg-mc-kv 在
agg-base 的基础上增加了跨实例 KV 缓存存储和感知 KV-cache 的路由:
部署
自包含的 InferNex 清单(每个清单都捆绑了引擎、hermes-router
LLMInferenceServiceConfig 和 LLMInferenceService,2 个副本 × TP=4):
基准测试结果
闭环 aiperf 0.7.0,TP=4 × 2 个副本(8 × 910B4),并发数为 4。两个
场景——① 复用 8k system-prompt 和 ② 17.5k 多轮对话——各发送 240 个请求,
输出固定为 128 个 token。TTFT / E2E 单位为 ms,ITL 单位为 ms,TPS = 总 token/s
(输入 + 输出)。
场景 ①——固定长度 system-prompt 复用(ISL ~8k / OSL 128)
场景 ②——多轮对话(ISL ~17.5k / OSL 128)
如何阅读这些结果。 所有运行均以每个实例稳定保持 2 个正在处理的请求完成了 240/240 个请求,且错误数为零。agg-base 数值为一次具有代表性的运行结果;
agg-mc-kv 是 3 次运行的平均值。
agg-mc-kv 的价值主要体现在 TTFT(首 token 延迟)上:跨实例 KV store 使请求能够复用其他实例已经计算过的前缀 KV,从而跳过重新预填充。在多轮场景中,这一效果最为明显(TTFT 从 4612 → 1663 ms,E2E 从 16.8 → 11.5 s,TPS 提升 52%),因为每一轮都会共享一个不断增长的长前缀。在这 3 次运行中,场景 ② 的冷启动/热运行结果差异较大:第一次(冷启动)运行需要为 16k 基础输入支付完整的预填充开销(TTFT ~3.5 s),而热运行的 TTFT 可达到 ~0.76 s、E2E 可达到 ~9.9 s——上方的平均值综合了两者,而热稳定状态正是持续服务时所处的运行点。不同规格之间的解码步骤延迟(ITL)大致相同——KV store 并不加速这一部分。
在当前 2 个实例的规模下,agg-mc-kv 的大部分收益来自 KV store;若要隔离路由的贡献,需要单独进行 A/B 测试,而随着实例数量增加,store 的价值也会增长(跨实例复用机会更多)。这些是半规模数据(8 张卡);聚合吞吐量会随实例数量扩展。