Qwen3.6-27B (W8A8)

qwen3_5 架构模型 — 门控 DeltaNet 线性注意力混合架构(3:1 线性注意力 / 完整注意力),带有原生 MTP 推测头,27.78B 参数,以 W8A8(INT8 权重,~33 GB)形式提供服务。已在 Ascend 910B4(32 GB/卡) 上通过 Alauda AI Platform 的 InferNex 界面,使用 vLLM-Ascend nightly 引擎完成验证。经过验证的 8 卡拓扑为 TP=4 × 2 个从节点,部署规格为 agg-base。

模型标识

字段值
发布者Qwen(Alibaba)
架构qwen3_5 — 门控 DeltaNet 线性注意力混合架构 + 完整注意力 + 原生 MTP(支持多模态)
参数27.78B(64 层,隐藏层大小 5120)
原生 dtypeBF16(~54 GB);此处以 W8A8(~33 GB)形式提供服务
模型来源(W8A8)https://www.modelscope.cn/models/Eco-Tech/Qwen3.6-27B-w8a8

已验证的硬件 × 软件栈

平台引擎版本 / 配置状态
Ascend 910B4 32 GB × 8(TP=4 × 2 个从节点)vLLM-Ascendnightly-releases-v0.22.1rc-openeuler(vLLM 0.22.1,CANN 9.0.0)✅ 闭环,2 个场景性能测试(n=3),agg-base
NOTE

qwen3_5(门控 DeltaNet 混合架构 + 多模态)只能在 vLLM-Ascend nightly 镜像上加载。请使用固定发行版本的 nightly-releases-v0.22.1rc-openeuler 标签 — 持续更新的 nightly-main-openeuler 已漂移到一个存在缺陷的构建版本,导致其 TP 工作进程崩溃。标准的 v0.18.0 无法为其提供服务。W8A8 量化可以节省 HBM(增大 KV 缓存),但其本身不会 加速解码 — 瓶颈在于 nightly 引擎中的 qwen3_5 GDN/MTP 解码路径,而不是内存带宽。

模型配置

参数值
张量并行 (tensor-parallel-size)4
副本(实例)2(= 8 张卡)
max-model-len24576
max-num-batched-tokens8192
gpu-memory-utilization0.85(不是 0.90 — 使用 MTP 时,高并发会导致 OOM)
max-num-seqs32(必需的保护阈值)
max_tokens(输出,基准测试固定值)128
量化ascend(W8A8)
前缀缓存已禁用(--no-enable-prefix-caching,GDN 所需)
投机解码(MTP)qwen3_5_mtp,3 个令牌

部署规格

此模型仅以 agg-base 方式提供服务 — 聚合,使用 hermes-router 策略 random(负载均衡),不使用 mooncake KV store。跨实例 KV store / KV-cache 感知路由(agg-mc-kv)目前尚不可用于 Ascend 上的 qwen3_5 GDN 混合架构:混合线性注意力 KV 池的对齐存储支持仍在上游开发中, 因此启用该功能会导致引擎崩溃。

组件agg-base
hermes-router (EPP)✅ 已启动
路由策略random(负载均衡)
cache-indexer—
mooncake KV store—(qwen3_5 不支持)

部署

自包含的 InferNex 清单(引擎 + hermes-router LLMInferenceServiceConfig 以及 LLMInferenceService,2 个副本 × TP=4):

规格文件
agg-base(负载均衡)qwen3-6-27b-w8a8-agg-base-llmisvc.yaml
base=https://raw.githubusercontent.com/alauda/aml-docs/master/docs/en/plan/validated_models/ascend/assets/qwen3-6-27b-w8a8
# edit namespace / model.uri registry / image tag first, then:
kubectl apply -f $base/qwen3-6-27b-w8a8-agg-base-llmisvc.yaml
WARNING

在提供流量服务前,务必先预热副本(施加少量并发负载)。 冷启动的副本只会捕获 batch=1 解码图;首次并发突发请求随后会在热路径上捕获更大的图,导致系统进入较慢的稳定状态。 --max-num-seqs 32 上限是必需的保护措施——若不设置,高并发可能会激增至 256 并发 / >1 s ITL 状态。启用 MTP 时,将 --gpu-memory-utilization 保持在 0.85,不要设为 0.90,否则高并发下会发生 OOM。

基准测试结果

闭环 aiperf 0.7.0,TP=4 × 2 个副本(8 × 910B4),并发数为 4,agg-base, 启用 MTP。两个场景——① 8k 系统提示词复用和 ② 17.5k 多轮对话——各包含 240 个请求,输出固定为 128 个令牌。每个场景均运行 3 次(n=3,使用相同的 trace + seed);全部 6 次运行均成功返回 240/240 个请求,且无错误。数值为各次运行的平均值。 TTFT / E2E 的单位为 ms,ITL 的单位为 ms(每个块;MTP 每块生成 ~3 个令牌),TPS = 总令牌数/秒。

场景 ① — 固定长度系统提示词复用(ISL ~8k / OSL 128)

部署规格TTFT 平均值 (ms)ITL 平均值 (ms)E2E 平均值 (ms)TPS(输入+输出)
agg-base150932.055775807

场景 ② — 多轮对话(ISL ~17.5k / OSL 128)

部署规格TTFT 平均值 (ms)ITL 平均值 (ms)E2E 平均值 (ms)TPS(输入+输出)
agg-base399945.397517408
NOTE

如何解读这些数据。全部六次运行均以稳定的每实例 2 个在途请求完成 240/240 个请求,且无错误;ITL 的可复现性很高(不同运行间的差异约为 3–14%)。 agg-base 是此模型唯一可用的部署规格——跨实例 KV store + KV-cache 感知路由(agg-mc-kv)不适用于 qwen3_5 GDN 混合架构。ITL 按每个块报告——MTP 投机解码头每个流式输出块生成约 3 个令牌,因此有效的每令牌延迟约为其三分之一。仅解码输出速率为 91.3 tok/s(场景 ①)/ 52.5 tok/s(场景 ②);TPS 列表示总令牌数(输入 + 输出)的吞吐量。ITL p90 为 45.0 ms(①)/ 78.4 ms(②),TTFT p90 为 2192 ms(①)/ 6290 ms(②)。在 17.5k 工作负载下,随着每轮上下文不断增长并被重新预填充,TTFT 会升高且尾延迟会变宽(此模型无法使用前缀缓存)。这些是半规模数据(8 张卡);聚合吞吐量会随实例数量扩展。