Qwen3-32B

标准 Qwen3 dense 模型,32B 参数,以 BF16 (~62 GB across four cards) 形式提供。已通过 Alauda AI 的 InferNex 平台在 Ascend 910B4 (32 GB/card) 上使用 vLLM-Ascend v0.18.0 进行了验证。验证的 8 卡拓扑为 TP=4 × 2 replicas,并在两个部署规格——agg-base(负载均衡)和 agg-mc-kv(cross-instance KV cache store + KV-cache-aware routing)——上进行了基准测试。

模型标识

字段值
发布方Qwen (Alibaba)
架构Qwen3 dense (standard attention, no MTP)
参数32B
原生 dtypeBF16 (~62 GB)
模型来源https://huggingface.co/Qwen/Qwen3-32B

已验证硬件 × 技术栈

平台引擎版本 / 配置状态
Ascend 910B4 32 GB × 8 (TP=4 × 2 replicas)vLLM-Ascendv0.18.0-openeuler (V1 engine)✅ 闭环、双场景性能测试、两个部署规格(agg-base + agg-mc-kv)

模型配置

定义服务边界的 vLLM-Ascend 引擎参数(两个部署规格相同):

参数值
Tensor parallelism (tensor-parallel-size)4
Replicas (instances)2 (= 8 cards)
max-model-len40960
max-num-batched-tokens40960
gpu-memory-utilization0.8
block-size128
max_tokens (output, benchmark-pinned)128
Prefix cachingenabled (--enable-prefix-caching)

部署规格

两个规格都通过 InferNex(KServe LLMInferenceService + InferNex-Bridge + hermes-router)运行在同一组 8 张卡(2 × TP=4)上。agg-mc-kv 在 agg-base 的基础上增加了跨实例 KV 缓存存储和感知 KV 缓存的路由:

组件agg-baseagg-mc-kv
hermes-router (EPP)✅ started✅ started
路由策略random (load-balancing)kv-cache-aware
cache-indexer—✅
mooncake KV store (AscendStoreConnector)—✅
tokenizer sidecar—✅
跨实例 KV 复用noyes

部署

自包含的 InferNex manifests(每个都打包了引擎 + hermes-router LLMInferenceServiceConfig 和 LLMInferenceService,2 replicas × TP=4):

规格文件
agg-base (load-balancing)qwen3-32b-agg-base-llmisvc.yaml
agg-mc-kv (KV store + KV-cache-aware routing)qwen3-32b-agg-mc-kv-llmisvc.yaml
base=https://raw.githubusercontent.com/alauda/aml-docs/master/docs/en/inference_guide/assets/qwen3-32b
# edit namespace / model.uri registry / image tag first, then:
kubectl apply -f $base/qwen3-32b-agg-base-llmisvc.yaml

基准测试结果

闭环 aiperf 0.7.0,TP=4 × 2 replicas (8 × 910B4),并发度 4。两个场景——① 8k system-prompt 复用和 ② 17.5k multi-turn——每个 240 个请求,输出固定为 128 tokens。TTFT / E2E 的单位为 ms,ITL 的单位为 ms,TPS = 总 tokens/s(输入 + 输出)。

场景 ① — 固定长度 system-prompt 复用(ISL ~8k / OSL 128)

部署规格TTFT 平均值 (ms)ITL 平均值 (ms)E2E 平均值 (ms)TPS (in+out)
agg-base132871.4103913120
agg-mc-kv44568.791653558

场景 ② — 多轮对话(ISL ~17.5k / OSL 128)

部署规格TTFT 平均值 (ms)ITL 平均值 (ms)E2E 平均值 (ms)TPS (in+out)
agg-base461295.9167914270
agg-mc-kv166377.3114816498
NOTE

如何解读这些结果。 所有运行都以稳定的每个实例 2 个 in-flight requests 完成了 240/240 且零错误。agg-base 的数据是一次代表性运行;agg-mc-kv 是 3 次运行的平均值。

agg-mc-kv 的价值主要体现在 TTFT(首 token 延迟)上:跨实例 KV 存储使请求可以复用另一个实例已经计算好的前缀 KV,从而跳过一次重新 prefill。这个效果在 多轮对话 场景中最明显(TTFT 4612 → 1663 ms,E2E 16.8 → 11.5 s,TPS +52%),因为每一轮都共享一个不断增长的长前缀。在这 3 次运行中,场景 ② 呈现出较大的 cold/warm 差异:第一次(cold)运行 要为 16k base 执行完整 prefill(TTFT ~3.5 s),而 warm 运行 的 TTFT 可达 ~0.76 s,E2E 可达 ~9.9 s——上面的平均值融合了这两者,而 warm 稳态才是持续服务中看到的运行点。解码步延迟(ITL)在两个规格之间大致相同——这不是 KV 存储加速的部分。

在当前 2 实例规模下,agg-mc-kv 的大部分收益来自 KV 存储;若要隔离路由带来的贡献,需要单独做 A/B,而存储的价值会随着实例数量增加而提升(跨实例复用机会更多)。这些都是半规模数据(8 张卡);总体吞吐量随实例数扩展。