Qwen3.6-27B (W8A8)
qwen3_5 架构模型 — Gated DeltaNet 线性注意力混合架构(3:1
线性 / 全注意力),带原生 MTP speculative head,27.78B 参数,作为 W8A8(INT8 权重,约 33 GB)提供服务。已在 Ascend 910B4(32 GB/卡) 上通过 Alauda AI 的 InferNex 接口使用 vLLM-Ascend nightly 引擎完成验证。已验证的 8 卡拓扑为 TP=4 × 2 replicas,部署规格为 agg-base。
模型标识
已验证硬件 × 栈
qwen3_5(Gated DeltaNet 混合架构 + 多模态)仅能在 vLLM-Ascend nightly 镜像上加载。请使用固定版本的 nightly-releases-v0.22.1rc-openeuler 标签——持续滚动的 nightly-main-openeuler 已漂移到一个有缺陷的构建版本,其 TP workers 会崩溃。标准的 v0.18.0 不能为其提供服务。W8A8 量化可以节省 HBM(从而容纳更大的 KV cache),但其本身不会加速 decode——瓶颈在于 nightly 引擎中的 qwen3_5 GDN/MTP decode 路径,而不是内存带宽。
模型配置
部署规格
此模型仅以 agg-base 方式提供服务——aggregation,hermes-router 策略为 random(负载均衡),不使用 mooncake KV store。跨实例 KV store / 支持 KV-cache 感知路由的 agg-mc-kv 尚不可用于 Ascend 上的 qwen3_5 GDN 混合架构:混合线性注意力 KV 池的 aligned-store 支持仍在上游开发中,因此启用后会导致引擎崩溃。
部署
自包含的 InferNex 清单(engine + hermes-router LLMInferenceServiceConfig
以及 LLMInferenceService,2 replicas × TP=4):
在开始提供流量之前,务必先对 replicas 进行预热(施加少量并发)。冷启动的 replica 只会捕获 batch=1 的 decode 图;随后第一次并发突发会在热路径上捕获更大的图,并进入较慢的稳态。--max-num-seqs 32 上限是必需的保护措施——如果没有它,高并发会级联到 256 并发 / >1 s ITL 的状态。将 --gpu-memory-utilization 保持在 0.85,不要使用 0.90;在启用 MTP 的高并发下,0.90 会导致 OOM。
Benchmark 结果
闭环 aiperf 0.7.0,TP=4 × 2 replicas(8 × 910B4),并发 4,agg-base,开启 MTP。两个场景——① 8k system-prompt reuse 和 ② 17.5k multi-turn——各 240 个请求,输出固定为 128 tokens。每个场景运行 3 次(n=3,相同 trace + seed);全部 6 次运行均以 240/240 完成,且无任何错误。数值为多次运行的均值。TTFT / E2E 的单位为 ms,ITL 的单位为 ms(按 chunk 计;MTP 每个 chunk 约输出 3 tokens),TPS = total tokens/s。
场景 ① — 固定长度 system-prompt reuse(ISL 约 8k / OSL 128)
场景 ② — 多轮对话(ISL 约 17.5k / OSL 128)
如何阅读这些结果。 6 次运行全部在每个实例保持 2 个在途请求的稳定状态下完成了 240/240,且无错误;ITL 具有很高的可复现性(运行间波动约 3–14%)。agg-base 是此模型唯一的部署规格——跨实例 KV store + 支持 KV-cache 感知路由的 agg-mc-kv 不适用于 qwen3_5 GDN 混合架构。ITL 是按 chunk 统计的——由于 MTP speculative head 每个流式 chunk 约输出 3 个 tokens,因此按 token 计算的有效延迟大约是其三分之一。仅解码输出速率为 91.3 tok/s(场景 ①)/ 52.5 tok/s(场景 ②);TPS 列为总 token(输入 + 输出)吞吐。ITL p90 为 45.0 ms(①)/ 78.4 ms(②),TTFT p90 为 2192 ms(①)/ 6290 ms(②)。随着 17.5k 工作负载中每轮上下文逐渐增大并重新预填充,TTFT 会上升且尾部变宽(此模型不能使用 prefix caching)。这些是半规模数据(8 卡);总吞吐量随实例数线性扩展。