Qwen3.6-27B (W8A8)
qwen3_5 架构模型 — 门控 DeltaNet 线性注意力混合架构(3:1
线性注意力 /
完整注意力),带有原生 MTP 推测头,27.78B 参数,以 W8A8(INT8 权重,~33 GB)形式提供服务。已在 Ascend 910B4(32 GB/卡) 上通过 Alauda AI Platform 的 InferNex 界面,使用 vLLM-Ascend nightly 引擎完成验证。经过验证的 8 卡拓扑为 TP=4 × 2 个从节点,部署规格为 agg-base。
模型标识
已验证的硬件 × 软件栈
qwen3_5(门控 DeltaNet 混合架构 + 多模态)只能在 vLLM-Ascend nightly
镜像上加载。请使用固定发行版本的 nightly-releases-v0.22.1rc-openeuler 标签 — 持续更新的
nightly-main-openeuler 已漂移到一个存在缺陷的构建版本,导致其 TP 工作进程崩溃。标准的
v0.18.0 无法为其提供服务。W8A8 量化可以节省 HBM(增大 KV 缓存),但其本身不会
加速解码 — 瓶颈在于 nightly 引擎中的 qwen3_5 GDN/MTP 解码路径,而不是内存带宽。
模型配置
部署规格
此模型仅以 agg-base 方式提供服务 — 聚合,使用 hermes-router 策略
random(负载均衡),不使用 mooncake KV store。跨实例 KV store /
KV-cache 感知路由(agg-mc-kv)目前尚不可用于 Ascend 上的
qwen3_5 GDN 混合架构:混合线性注意力 KV 池的对齐存储支持仍在上游开发中,
因此启用该功能会导致引擎崩溃。
部署
自包含的 InferNex 清单(引擎 + hermes-router LLMInferenceServiceConfig
以及 LLMInferenceService,2 个副本 × TP=4):
在提供流量服务前,务必先预热副本(施加少量并发负载)。
冷启动的副本只会捕获 batch=1 解码图;首次并发突发请求随后会在热路径上捕获更大的图,导致系统进入较慢的稳定状态。
--max-num-seqs 32 上限是必需的保护措施——若不设置,高并发可能会激增至 256 并发 / >1 s ITL 状态。启用 MTP 时,将 --gpu-memory-utilization 保持在
0.85,不要设为 0.90,否则高并发下会发生 OOM。
基准测试结果
闭环 aiperf 0.7.0,TP=4 × 2 个副本(8 × 910B4),并发数为 4,agg-base,
启用 MTP。两个场景——① 8k 系统提示词复用和 ② 17.5k 多轮对话——各包含 240
个请求,输出固定为 128 个令牌。每个场景均运行 3 次(n=3,使用相同的 trace +
seed);全部 6 次运行均成功返回 240/240 个请求,且无错误。数值为各次运行的平均值。
TTFT / E2E 的单位为 ms,ITL 的单位为 ms(每个块;MTP 每块生成 ~3 个令牌),TPS = 总令牌数/秒。
场景 ① — 固定长度系统提示词复用(ISL ~8k / OSL 128)
场景 ② — 多轮对话(ISL ~17.5k / OSL 128)
如何解读这些数据。全部六次运行均以稳定的每实例 2 个在途请求完成 240/240 个请求,且无错误;ITL 的可复现性很高(不同运行间的差异约为 3–14%)。
agg-base 是此模型唯一可用的部署规格——跨实例 KV store +
KV-cache 感知路由(agg-mc-kv)不适用于 qwen3_5 GDN 混合架构。ITL 按每个块报告——MTP 投机解码头每个流式输出块生成约 3 个令牌,因此有效的每令牌延迟约为其三分之一。仅解码输出速率为
91.3 tok/s(场景 ①)/ 52.5 tok/s(场景 ②);TPS 列表示总令牌数(输入 + 输出)的吞吐量。ITL p90 为 45.0 ms(①)/ 78.4 ms(②),TTFT p90
为 2192 ms(①)/ 6290 ms(②)。在 17.5k 工作负载下,随着每轮上下文不断增长并被重新预填充,TTFT 会升高且尾延迟会变宽(此模型无法使用前缀缓存)。这些是半规模数据(8 张卡);聚合吞吐量会随实例数量扩展。