Qwen3-32B

标准 Qwen3 稠密模型,32B 参数,采用 BF16(在四张卡上约为 ~62 GB)。已在 Ascend 910B4(32 GB/卡) 上通过 Alauda AI Platform 的 InferNex 界面,使用 vLLM-Ascend v0.18.0 完成验证。经验证的 8 卡拓扑为 TP=4 × 2 副本,并在两种部署规格下进行了基准测试 — agg-base(负载均衡)和 agg-mc-kv(跨实例 KV cache 存储 + 感知 KV cache 的路由)。

模型标识

字段值
发布者Qwen(Alibaba)
架构Qwen3 稠密(标准注意力,无 MTP)
参数32B
原生 dtypeBF16(~62 GB)
模型来源https://huggingface.co/Qwen/Qwen3-32B

已验证的硬件 × 软件栈

平台引擎版本 / 配置状态
Ascend 910B4 32 GB × 8(TP=4 × 2 副本)vLLM-Ascendv0.18.0-openeuler(V1 引擎)✅ 闭环、双场景性能、两种部署规格(agg-base + agg-mc-kv)

模型配置

定义服务范围的 vLLM-Ascend 引擎标志(两种部署规格相同):

参数值
张量并行(tensor-parallel-size)4
副本(实例)2(= 8 张卡)
max-model-len40960
max-num-batched-tokens40960
gpu-memory-utilization0.8
block-size128
max_tokens(输出,基准测试固定)128
前缀缓存已启用(--enable-prefix-caching)

部署规格

两种规格均通过 InferNex(KServe LLMInferenceService + InferNex-Bridge + hermes-router)运行在相同的 8 张卡(2 × TP=4)上。agg-mc-kv 在 agg-base 的基础上增加了跨实例 KV 缓存存储和感知 KV-cache 的路由:

组件agg-baseagg-mc-kv
hermes-router(EPP)✅ 已启动✅ 已启动
路由策略random(负载均衡)kv-cache-aware
cache-indexer—✅
mooncake KV store(AscendStoreConnector)—✅
tokenizer sidecar—✅
跨实例 KV 复用否是

部署

自包含的 InferNex 清单(每个清单都捆绑了引擎、hermes-router LLMInferenceServiceConfig 和 LLMInferenceService,2 个副本 × TP=4):

规格文件
agg-base(负载均衡)qwen3-32b-agg-base-llmisvc.yaml
agg-mc-kv(KV store + 感知 KV-cache 的路由)qwen3-32b-agg-mc-kv-llmisvc.yaml
base=https://raw.githubusercontent.com/alauda/aml-docs/master/docs/en/plan/validated_models/ascend/assets/qwen3-32b
# edit namespace / model.uri registry / image tag first, then:
kubectl apply -f $base/qwen3-32b-agg-base-llmisvc.yaml

基准测试结果

闭环 aiperf 0.7.0,TP=4 × 2 个副本(8 × 910B4),并发数为 4。两个 场景——① 复用 8k system-prompt 和 ② 17.5k 多轮对话——各发送 240 个请求, 输出固定为 128 个 token。TTFT / E2E 单位为 ms,ITL 单位为 ms,TPS = 总 token/s (输入 + 输出)。

场景 ①——固定长度 system-prompt 复用(ISL ~8k / OSL 128)

部署规格TTFT 平均值(ms)ITL 平均值(ms)E2E 平均值(ms)TPS(输入+输出)
agg-base132871.4103913120
agg-mc-kv44568.791653558

场景 ②——多轮对话(ISL ~17.5k / OSL 128)

部署规格TTFT 平均值(ms)ITL 平均值(ms)E2E 平均值(ms)TPS(输入+输出)
agg-base461295.9167914270
agg-mc-kv166377.3114816498
NOTE

如何阅读这些结果。 所有运行均以每个实例稳定保持 2 个正在处理的请求完成了 240/240 个请求,且错误数为零。agg-base 数值为一次具有代表性的运行结果; agg-mc-kv 是 3 次运行的平均值。

agg-mc-kv 的价值主要体现在 TTFT(首 token 延迟)上:跨实例 KV store 使请求能够复用其他实例已经计算过的前缀 KV,从而跳过重新预填充。在多轮场景中,这一效果最为明显(TTFT 从 4612 → 1663 ms,E2E 从 16.8 → 11.5 s,TPS 提升 52%),因为每一轮都会共享一个不断增长的长前缀。在这 3 次运行中,场景 ② 的冷启动/热运行结果差异较大:第一次(冷启动)运行需要为 16k 基础输入支付完整的预填充开销(TTFT ~3.5 s),而热运行的 TTFT 可达到 ~0.76 s、E2E 可达到 ~9.9 s——上方的平均值综合了两者,而热稳定状态正是持续服务时所处的运行点。不同规格之间的解码步骤延迟(ITL)大致相同——KV store 并不加速这一部分。

在当前 2 个实例的规模下,agg-mc-kv 的大部分收益来自 KV store;若要隔离路由的贡献,需要单独进行 A/B 测试,而随着实例数量增加,store 的价值也会增长(跨实例复用机会更多)。这些是半规模数据(8 张卡);聚合吞吐量会随实例数量扩展。