Qwen3-32B
标准 Qwen3 dense 模型,32B 参数,以 BF16 (~62 GB across four cards) 形式提供。已通过 Alauda AI 的 InferNex 平台在 Ascend 910B4 (32 GB/card) 上使用 vLLM-Ascend v0.18.0 进行了验证。验证的 8 卡拓扑为 TP=4 × 2 replicas,并在两个部署规格——agg-base(负载均衡)和 agg-mc-kv(cross-instance KV cache store + KV-cache-aware routing)——上进行了基准测试。
模型标识
已验证硬件 × 技术栈
模型配置
定义服务边界的 vLLM-Ascend 引擎参数(两个部署规格相同):
部署规格
两个规格都通过 InferNex(KServe LLMInferenceService + InferNex-Bridge + hermes-router)运行在同一组 8 张卡(2 × TP=4)上。agg-mc-kv 在 agg-base 的基础上增加了跨实例 KV 缓存存储和感知 KV 缓存的路由:
部署
自包含的 InferNex manifests(每个都打包了引擎 + hermes-router LLMInferenceServiceConfig 和 LLMInferenceService,2 replicas × TP=4):
基准测试结果
闭环 aiperf 0.7.0,TP=4 × 2 replicas (8 × 910B4),并发度 4。两个场景——① 8k system-prompt 复用和 ② 17.5k multi-turn——每个 240 个请求,输出固定为 128 tokens。TTFT / E2E 的单位为 ms,ITL 的单位为 ms,TPS = 总 tokens/s(输入 + 输出)。
场景 ① — 固定长度 system-prompt 复用(ISL ~8k / OSL 128)
场景 ② — 多轮对话(ISL ~17.5k / OSL 128)
如何解读这些结果。 所有运行都以稳定的每个实例 2 个 in-flight requests 完成了 240/240 且零错误。agg-base 的数据是一次代表性运行;agg-mc-kv 是 3 次运行的平均值。
agg-mc-kv 的价值主要体现在 TTFT(首 token 延迟)上:跨实例 KV 存储使请求可以复用另一个实例已经计算好的前缀 KV,从而跳过一次重新 prefill。这个效果在 多轮对话 场景中最明显(TTFT 4612 → 1663 ms,E2E 16.8 → 11.5 s,TPS +52%),因为每一轮都共享一个不断增长的长前缀。在这 3 次运行中,场景 ② 呈现出较大的 cold/warm 差异:第一次(cold)运行 要为 16k base 执行完整 prefill(TTFT ~3.5 s),而 warm 运行 的 TTFT 可达 ~0.76 s,E2E 可达 ~9.9 s——上面的平均值融合了这两者,而 warm 稳态才是持续服务中看到的运行点。解码步延迟(ITL)在两个规格之间大致相同——这不是 KV 存储加速的部分。
在当前 2 实例规模下,agg-mc-kv 的大部分收益来自 KV 存储;若要隔离路由带来的贡献,需要单独做 A/B,而存储的价值会随着实例数量增加而提升(跨实例复用机会更多)。这些都是半规模数据(8 张卡);总体吞吐量随实例数扩展。