GLM-5.2 (W4A8C8)
glm_moe_dsa(GlmMoeDsaForCausalLM)是一个采用 MLA attention 和
DeepSeek 风格稀疏注意力(DSA)的 256-expert MoE,在此以 1,048,576-token 上下文提供服务。
该模型在 8 × Atlas 800 A2 = 64 × Ascend 910B3 64 GB 上完成验证,作为
Prefill/Decode 分离服务运行——4 个 prefill 节点和 4 个 decode 节点——通过产品 MaaS gateway
使用共享的 mooncake KV pool。
负载是对真实编码智能体会话的重放(Exgentic v2,claude_code 个正在执行
SWE-bench 任务),并对并发会话数进行遍历;服务上没有其他负载。
简而言之——此部署为 64 个并发编码智能体会话提供了服务,首 token 时间(TTFT)P90 低于 10 秒;128 个会话则未能达到。
在 64 个会话下,TTFT P90 为 9.25 秒,服务产生了 510 个输出 token/s (计入输入后为 111k token/s)。在 128 个会话下,TTFT P90 升至 24.8 秒,而每秒完成的 请求数仅增长了 1%(输出 token/s 增长了 17%,因为响应更长):额外请求在 prefill 阶段排队。 未测量 64 和 128 之间的其他并发数。
模型标识
已验证的硬件 × 技术栈
路由和 P/D 交接:hermes-router 26.6.0(EPP,sha256:8cb00e74…)以及 InferNex P→D proxy
proxy-server:26.6.0,均来自 build-harbor.alauda.cn/3rdparty/openfuyao。
控制器:Alauda Build of InferNex Bridge v26.6.0。
模型配置
为什么 gpu-memory-utilization 是 0.88,而不是此部署最初使用的 0.93。 深层上下文
prefill 每层需要的临时内存多于启动时性能分析运行所预留的内存。
在 0.93 下,当上下文超过约 350k 个 token 后,prefill 速度会明显下降;在 0.90 下,超过
约 800k 个 token 后也会如此,因为分配器会逐层同步并重新请求设备内存。在 0.88 下,直到 1M 的上下文阶梯测试均未出现断崖式下降;一次冷启动的 970k-token prefill 在其堆栈采样中也未显示分配器停顿:共 119 个 8,192-token 步骤,每步约 2 秒,且随着上下文增长略微变长(总计 381 秒,参见注意事项)。Decode 同样使用 0.88:在 0.93 下,一个 decode 节点在 30 个并发的 128k-token 请求时耗尽了临时内存。
请求路径
MaaS → KServe ingress gateway → InferencePool → hermes-router EPP(Endpoint Picker:选择一个
prefill 节点和一个 decode 节点)→ P→D proxy → prefill(max_tokens=1)→ decode,并以流式方式返回。
- Decode 按负载选择:取 2 × in-flight + 1 × KV 使用量 + 1 × queue 的最小值,其中 in-flight 和 queue 分别除以四个节点中的最大值,KV 使用量则直接取其本身 (0–1)。当 EPP 路由请求时,in-flight 会按请求长度(字符数)计入;EPP 中没有 tokenizer。 当响应流结束时(或 5 分钟内未收到响应块时),该计数会释放,因此仍在等待较长 prefill 的 decode 节点 已经会被计入。Prefill 节点随机选择。
- 曾尝试按负载选择 prefill,但后来回退了:在对三个 1M 会话和 128k-token 请求进行 合成扫描后发现,由于 in-flight 按请求长度计入,一个 1M 请求的权重约等于九个 128k-token 请求, 因而这些请求集中到了没有 1M 请求的节点上。
- Proxy 由 manifest 部署,而不是由 InferNex-Bridge 部署(该控制器会将
LLMInferenceService转换为运行中的组件):Bridge 管理的 proxy 不带有pdRole标签,因此 EPP 无法对其寻址。两个启动补丁修复了 proxy 本身(参见 manifest 中的注释)。
部署
首次请求后,proxy 日志应显示 Using specified prefiller(EPP 的路由标头已到达)。如果 prefill engine 的日志中出现完整的 chat 请求,说明 gateway 绕过了 proxy。
已知问题:请手动在 MaaS 上发布此服务。
在 MaaS 上发布推理服务的控制台流程会将 MaaS 指向
<llmisvc>-kserve-workload-svc,从而绕过 EPP,因此不会选择 prefill 或 decode 节点。
直接将 MaaS 指向 InferencePool 也无法正常工作:超过 4 MB 的请求正文会因 HTTP 500
而失败(这是 EPP 的 gRPC 消息大小限制),而 1M-token 的请求正文为 2–4 MB。
在此问题修复之前,glm-5.2-w4a8c8-maas-route.yaml 会将该服务注册为外部模型,其 endpoint 是该服务在 KServe ingress gateway 上的路由;
该 gateway 会将请求正文以流式方式传输给 EPP,因此不受 4 MB 限制。在此路径下,只要存在
AIServiceBackend,MaaS 就会将模型显示为就绪,而不论 engines 处于何种状态。
在 InferNex Bridge v26.6.0 上,每个 namespace 只能运行一个启用 mooncake 的 LLMInferenceService:
Bridge 会为每个 namespace 保留一对 mooncake-master-service / redis-service,
并将其指向最后完成 reconcile 的服务。
发布的 manifest 与用于 benchmark 的 manifest 仅在 engine flags 之外存在差异:
Benchmark 方法
aiperf 0.12.0,使用 timingMode: agentic_replay 重放真实的 coding-agent 会话。负载由并发会话数决定:每个会话会在 trace 中记录的间隔(智能体的工具执行时间)之后发送下一个请求,完成的会话则由池中的下一个会话替代。在整个 sweep 期间,服务上没有运行其他任务。
通过标准(在运行前设定)。 结果表中的每个数值都在每个级别的后半段测量——将该级别的计时请求按开始时间排序,取该半段中第一次开始到最后一次结束的时间窗口。某个级别通过的条件是:在该窗口内,TTFT P90 低于 10 s,且窗口稳定(其两个半段的 token 间延迟中位数相差不超过 25 %)。结果取通过的最高级别,不进行插值。
TTFT 是第一个 streaming token 所需的时间。GLM-5.2 会在回答前进行推理,因此该 token 可能是 reasoning token;第一个回答 token是第一个非 reasoning token。ISL / OSL 分别是每个请求的输入 / 输出 tokens(OSL 包含 reasoning)。Output TPS 是窗口内请求的输出 tokens 除以窗口时长;total TPS 则在此基础上加上其输入 tokens,定义与 overview 页面中 TPS 的定义相同。
Benchmark 结果
各负载级别结论(测量窗口)
输入、输出与吞吐量(测量窗口)
实际会话数是有请求在执行中的会话数的时间平均值;由于重放的会话会在轮次之间等待其记录的工具执行时间,因此该值低于名义会话数。每会话输出为 1,000 / 平均 ITL,即单个用户在响应流式传输期间看到的速率。它不是 Output TPS 除以实际会话数:请求在收到第一个 token 之前会有一部分时间处于执行中(排队和预填充),此时不会输出任何内容。在整个 sweep 期间,共发送了 12,639 个计时请求,其中 10 个失败(0.08 %)。使用 MTP 时,在每个完整负载级别上,decode 平均每步输出 3.7–3.8 个 token(草拟 5 个 token,其中 55–57 % 的草拟 token 被接受)。
128 会话负载级别在哪里达到饱和
每个测量窗口内的 engine counters:
每节点运行中的 Decode 是四个节点平均值的范围,括号中为任一节点上的最高峰值。
- Decode 不是瓶颈。 四个 Decode 节点的负载很均衡(单个节点最多 21 个请求,而其
max-num-seqs为 32),KV 峰值为 16 %,且没有发生抢占。 - 请求在 Prefill 阶段排队:在 128 个会话时,有 83 % 的时间处于排队状态,但请求排队期间,每个 Prefill 节点仅计算约 4 个请求(其
max-num-seqs为 8),且仅有 13–14 % 的 KV 在使用。尚未定位排队原因——没有进行 operator 级别的 profiling。可能原因包括 8,192-token 的步长预算、从 KV 池加载缓存前缀所需的时间,以及四个 Prefill 节点同步执行 step(由于 experts 分布在全部 32 张卡上,每个节点会同时执行每个 step,因此由最慢的节点决定处理节奏)。 - 将会话数从 64 增加到 128 后,已完成请求数每秒增加了 1 %(3.82 → 3.87;由于响应更长,OSL 从 134 增加到 154,Output TPS 上升了 17 %):到 128 个会话时,额外负载已转化为 Prefill 排队。
注意事项
- 这些会话比 128k token 及以上的长上下文智能体会话更短。 在测量窗口内,输入最长达到 86k token(语料库最大值为 121k)。更长的会话会使 Prefill 和 Decode 都更加繁重;不要将 64 会话的数值套用到 128k-token 会话。
- 64 会话的测试范围较窄,且仅测量过一次。 其 TTFT P90 比基准线低 0.75 秒,而首个回答 token 的 P90(10.6 秒)高于该基准线。
- 并发的 1M 请求会改变 Decode 路由。 在另一次重放测试中,另外有三个 1M 会话持续运行,coding 请求集中到没有 1M 请求的那个 Decode 节点上:64 个会话时,该节点平均有 25 个运行中的请求,并有 9% 的时间达到其
max-num-seqs32;ITL 从 39 ms 上升到 55 ms,TTFT P90 从 9.25 秒上升到 10.1 秒——高于本页面的 10 秒基准线,因此在该负载下 64 个会话无法通过。可能原因(根据推断,未通过更改路由进行测试)是 in-flight 按请求长度预留,因此处理 1M 请求的节点看起来约相当于有 30 个 coding 请求在运行。128 个会话时,无论是否有 1M 负载,Prefill 排队情况大致相同(平均排队数为 27.8 对 28.3,处于排队状态的时间占比为 83% 对 89%)。 - 前缀未缓存的 1M 请求速度很慢。 一个没有任何缓存的约 970k-token 请求,直到生成第一个 token 用时 381 秒(测量过一次,直接发送到 Prefill 节点)。单个请求在一个 Prefill 节点上计算;另外三个节点大部分时间处于空闲状态。当前缀已缓存时,单独运行的 1M 请求(三个会话)通过 MaaS 测得 TTFT P50 为 7.6 秒 / P90 为 11.7 秒。前缀会一直保留在 KV 池中,直到 KV 池填满并驱逐最近读取时间最早的前缀;本次测试期间发生了四次驱逐。
- fastokens 对 1M TTFT 很重要。 vLLM-Ascend v0.23.0 镜像不包含它;一个已缓存的 1M 请求通过 MaaS 测得的 TTFT,在不使用它时为 20.8 秒,使用它时为 10.7 秒,主要差异来自 tokenization(整个提示词会在 Prefill 阶段进行一次 tokenization,并在 Decode 阶段再次进行)。coding-agent 测试未测量不使用它的情况;以本次测试的输入长度估算,不使用它会使 TTFT 增加约 0.25 秒。Community 镜像来自
v0.28.0.rc1中 pin 为fastokens==0.2.0的版本requirements.txt(vllm-ascend #15351);使用这些镜像时可以省略 pip 步骤,但 0.2.0 并非本页验证过的版本。 - 未评估准确率。 vLLM-Ascend v0.23.0 GLM-5.2 指南 将 w4a8c8 权重列为实验性功能,并指出其在 P/D 解耦部署中存在已知的准确率问题,同时列出 1M 上下文仅在 Atlas 800 A3 上经过验证。本文报告的是性能;投入生产使用前,请针对自己的工作负载评估准确率。
- 发现的错误: 所有 10 个失败请求在重放的 token 限制内都产生了 reasoning,但没有回答内容。几乎所有预热请求(每个会话槽位一个,由 aiperf 在每个负载级别开始时发送;240 个请求中有 223 个)都以相同方式结束;预热请求不计入统计。