GLM-5.2 (W4A8C8)

glm_moe_dsa(GlmMoeDsaForCausalLM)是一个采用 MLA attention 和 DeepSeek 风格稀疏注意力(DSA)的 256-expert MoE,在此以 1,048,576-token 上下文提供服务。 该模型在 8 × Atlas 800 A2 = 64 × Ascend 910B3 64 GB 上完成验证,作为 Prefill/Decode 分离服务运行——4 个 prefill 节点和 4 个 decode 节点——通过产品 MaaS gateway 使用共享的 mooncake KV pool。

负载是对真实编码智能体会话的重放(Exgentic v2,claude_code 个正在执行 SWE-bench 任务),并对并发会话数进行遍历;服务上没有其他负载。

TIP

简而言之——此部署为 64 个并发编码智能体会话提供了服务,首 token 时间(TTFT)P90 低于 10 秒;128 个会话则未能达到。

在 64 个会话下,TTFT P90 为 9.25 秒,服务产生了 510 个输出 token/s (计入输入后为 111k token/s)。在 128 个会话下,TTFT P90 升至 24.8 秒,而每秒完成的 请求数仅增长了 1%(输出 token/s 增长了 17%,因为响应更长):额外请求在 prefill 阶段排队。 未测量 64 和 128 之间的其他并发数。

模型标识

字段值
发布者 / 基础模型Zhipu AI / zai-org/GLM-5.2
架构glm_moe_dsa / GlmMoeDsaForCausalLM;78 层(前 3 层为 dense)+ 1 个 MTP 层;256 个路由 expert,每个 token 使用 8 个 + 1 个共享 expert;MLA(kv_lora_rank 512),并配有 DSA indexer,为每个 query 选择 top 2,048 个 token
参数BF16 checkpoint 中为 753B(Hugging Face safetensors 计数,包含 MTP 层);每个 token 激活约 ~40B,根据 config.json 计算得出
上下文1,048,576(max_position_embeddings,以 --max-model-len 1048576 提供服务)
量化W4A8C8(--quantization ascend):路由 expert 使用 W4A8,其他线性层使用 W8A8,DSA indexer cache 使用 INT8;采用 QuaRot rotation。磁盘占用 377 GiB
模型来源ModelScope Eco-Tech/GLM-5.2-w4a8c8 · ModelCar docker.io/alaudadockerhub/modelcar-glm-5.2-w4a8c8:v0.1.0

已验证的硬件 × 技术栈

平台引擎版本 / 配置状态
Atlas 800 A2 × 8(Ascend 910B3 64 GB × 64)——prefill 4 个节点 + decode 4 个节点vLLM-Ascendv0.23.0-openeuler(arm64 sha256:6c183dfa…,vLLM 0.23.0)+ fastokens 0.3.4✅ 通过 MaaS 完成编码智能体回放扫描:16 / 32 / 64 / 128 个会话

路由和 P/D 交接:hermes-router 26.6.0(EPP,sha256:8cb00e74…)以及 InferNex P→D proxy proxy-server:26.6.0,均来自 build-harbor.alauda.cn/3rdparty/openfuyao。 控制器:Alauda Build of InferNex Bridge v26.6.0。

模型配置

参数Prefill(4 个节点)Decode(4 个节点)
并行性DP4 × TP8(每个节点一个 DP rank),EP32(所有 32 张卡上的 expert),DCP8(decode context parallel:一个序列的 KV cache 分布在其节点的 8 张卡上)相同
入口每个节点提供 HTTP 服务(--data-parallel-hybrid-lb)相同
max-num-batched-tokens8192192
max-num-seqs(每个节点的接纳闸门)832
gpu-memory-utilization0.880.88
推测解码deepseek_mtp,1 个 tokendeepseek_mtp,5 个 token
图模式eagerFULL_DECODE_ONLY
additional-configenable_dsa_cp、enable_flashcomm1、enable_sparse_li_c8、multistream_overlap_shared_expert、enable_cpu_binding、enable_npugraph_exenable_sparse_li_c8、recompute_scheduler_enable、multistream_overlap_shared_expert、enable_cpu_binding、enable_npugraph_ex
每个节点的 KV(引擎报告值)1,180,672 个 token2,535,424 个 token
KV 传输MultiConnector:MooncakeConnectorV1(P → D,Ascend Direct)+ AscendStoreConnector(mooncake KV pool)相同
KV poolmooncake,每个引擎 worker 进程 48 GiB,约 3 TiB;使用率达到 90% 时驱逐最近读取最少的 10%—
工具调用 / 推理--tool-call-parser glm47 --reasoning-parser glm45相同
重要环境变量HCCL_INTRA_ROCE_ENABLE=1(A2 上进行 KV-pool 传输时必需)、VLLM_ASCEND_ENABLE_NZ=1;fastokens 安装后,启动脚本会导出 VLLM_USE_FASTOKENS=1相同
NOTE

为什么 gpu-memory-utilization 是 0.88,而不是此部署最初使用的 0.93。 深层上下文 prefill 每层需要的临时内存多于启动时性能分析运行所预留的内存。 在 0.93 下,当上下文超过约 350k 个 token 后,prefill 速度会明显下降;在 0.90 下,超过 约 800k 个 token 后也会如此,因为分配器会逐层同步并重新请求设备内存。在 0.88 下,直到 1M 的上下文阶梯测试均未出现断崖式下降;一次冷启动的 970k-token prefill 在其堆栈采样中也未显示分配器停顿:共 119 个 8,192-token 步骤,每步约 2 秒,且随着上下文增长略微变长(总计 381 秒,参见注意事项)。Decode 同样使用 0.88:在 0.93 下,一个 decode 节点在 30 个并发的 128k-token 请求时耗尽了临时内存。

请求路径

MaaS → KServe ingress gateway → InferencePool → hermes-router EPP(Endpoint Picker:选择一个 prefill 节点和一个 decode 节点)→ P→D proxy → prefill(max_tokens=1)→ decode,并以流式方式返回。

  • Decode 按负载选择:取 2 × in-flight + 1 × KV 使用量 + 1 × queue 的最小值,其中 in-flight 和 queue 分别除以四个节点中的最大值,KV 使用量则直接取其本身 (0–1)。当 EPP 路由请求时,in-flight 会按请求长度(字符数)计入;EPP 中没有 tokenizer。 当响应流结束时(或 5 分钟内未收到响应块时),该计数会释放,因此仍在等待较长 prefill 的 decode 节点 已经会被计入。Prefill 节点随机选择。
  • 曾尝试按负载选择 prefill,但后来回退了:在对三个 1M 会话和 128k-token 请求进行 合成扫描后发现,由于 in-flight 按请求长度计入,一个 1M 请求的权重约等于九个 128k-token 请求, 因而这些请求集中到了没有 1M 请求的节点上。
  • Proxy 由 manifest 部署,而不是由 InferNex-Bridge 部署(该控制器会将 LLMInferenceService 转换为运行中的组件):Bridge 管理的 proxy 不带有 pdRole 标签,因此 EPP 无法对其寻址。两个启动补丁修复了 proxy 本身(参见 manifest 中的注释)。

部署

规格文件
Engines(P4 + D4)、EPP、proxy、两个数据并行预设glm-5.2-w4a8c8-pd-4p4d-1m-llmisvc.yaml
engine 镜像上的 Mooncake master(补丁;仅限 InferNex Bridge v26.6.0)glm-5.2-w4a8c8-mooncake-master-patch.yaml
通过 KServe gateway 接入 MaaS(可选;已知问题的手动解决方法,见下文)glm-5.2-w4a8c8-maas-route.yaml
base=https://raw.githubusercontent.com/alauda/aml-docs/master/docs/en/plan/validated_models/ascend/assets/glm-5.2-w4a8c8
curl -sO $base/glm-5.2-w4a8c8-pd-4p4d-1m-llmisvc.yaml
curl -sO $base/glm-5.2-w4a8c8-mooncake-master-patch.yaml

# 1. Edit both files first: replace every `demo` with your namespace (it also appears inside
#    container arguments) and, for air-gapped nodes, repoint the images and the ModelCar.
#    The mooncake master image in the patch must stay the same as the engine image.
kubectl apply -f glm-5.2-w4a8c8-pd-4p4d-1m-llmisvc.yaml

# 2. InferNex Bridge v26.6.0 only. From v26.9.0 the Bridge's default mooncake master image is
#    vLLM-Ascend v0.23.0, whose Mooncake (0.3.11.post1) matches the engine's: skip this step
#    and the patch there.
#    Run the mooncake master from the engine image: patch once the Bridge has created the
#    InferNexService, and repeat until the master Deployment shows that image (right after
#    creation the Bridge may still overwrite it). Re-run this step after every step 1; on an
#    unchanged spec the patch is a no-op and does not restart the master.
img=$(awk '/image:/{print $2; exit}' glm-5.2-w4a8c8-mooncake-master-patch.yaml)
until [ "$(kubectl -n demo get deploy glm52-pd-mooncake-master \
          -o jsonpath='{.spec.template.spec.containers[0].image}' 2>/dev/null)" = "$img" ]; do
  kubectl -n demo patch infernexservice glm52-pd --type=merge \
    --patch-file glm-5.2-w4a8c8-mooncake-master-patch.yaml 2>/dev/null
  sleep 15
done

# 3. Wait for the 8 engine pods: weight load + 1M graph build take about 20 minutes, plus
#    the ModelCar pull (~326 GiB per pod) on first start.
kubectl -n demo get pods -l 'openfuyao.com/pdGroupID=glm52-pd,openfuyao.com/pdRole in (prefill,decode)' -w

# 4. Optional: publish on MaaS by hand (see the known issue below). Edit the file first:
#    the gateway Service name, and your namespace in both maas.alauda.io/endpoint and
#    spec.schema.prefix. Then add aml-maas/glm52-pd to a MaaS subscription, or no API key
#    can reach it.
curl -sO $base/glm-5.2-w4a8c8-maas-route.yaml
kubectl apply -f glm-5.2-w4a8c8-maas-route.yaml

首次请求后,proxy 日志应显示 Using specified prefiller(EPP 的路由标头已到达)。如果 prefill engine 的日志中出现完整的 chat 请求,说明 gateway 绕过了 proxy。

WARNING

已知问题:请手动在 MaaS 上发布此服务。

在 MaaS 上发布推理服务的控制台流程会将 MaaS 指向 <llmisvc>-kserve-workload-svc,从而绕过 EPP,因此不会选择 prefill 或 decode 节点。 直接将 MaaS 指向 InferencePool 也无法正常工作:超过 4 MB 的请求正文会因 HTTP 500 而失败(这是 EPP 的 gRPC 消息大小限制),而 1M-token 的请求正文为 2–4 MB。 在此问题修复之前,glm-5.2-w4a8c8-maas-route.yaml 会将该服务注册为外部模型,其 endpoint 是该服务在 KServe ingress gateway 上的路由; 该 gateway 会将请求正文以流式方式传输给 EPP,因此不受 4 MB 限制。在此路径下,只要存在 AIServiceBackend,MaaS 就会将模型显示为就绪,而不论 engines 处于何种状态。

在 InferNex Bridge v26.6.0 上,每个 namespace 只能运行一个启用 mooncake 的 LLMInferenceService: Bridge 会为每个 namespace 保留一对 mooncake-master-service / redis-service, 并将其指向最后完成 reconcile 的服务。

发布的 manifest 与用于 benchmark 的 manifest 仅在 engine flags 之外存在差异:

项目Benchmark 使用的配置发布的配置影响
Weights每个节点上预先暂存相同的 ModelScope weights(hostPath,关闭 storageInitializer)通过 storageInitializer 使用 ModelCar尚未针对该模型进行验证。 全部 8 个 engine pod(leader 和 worker)都依赖 storageInitializer:每个 pod 都会拉取一个约 326 GiB 的镜像,并解压为约 377 GiB 的节点磁盘占用。manifest 保留了作为注释的 benchmark 预先暂存替代方案
fastokens来自节点目录的 fastokens 0.3.4 wheel;没有它则启动失败来自 PyPI 的 fastokens==0.3.4(或 FASTOKENS_SPEC = 你的 wheel);没有它也会继续启动,但会发出警告参见注意事项:没有它时,1M TTFT 约高出 10 秒
Node placement为保证不同运行之间的可比性,按节点固定未固定预计无影响
Diagnosticstorch profiler endpoints、VLLM_SERVER_DEV_MODE=1、SYS_PTRACE已移除无(未采集时处于空闲状态)
Images镜像已复制到本地 registry使用具有相同 digest 的公共引用无

Benchmark 方法

aiperf 0.12.0,使用 timingMode: agentic_replay 重放真实的 coding-agent 会话。负载由并发会话数决定:每个会话会在 trace 中记录的间隔(智能体的工具执行时间)之后发送下一个请求,完成的会话则由池中的下一个会话替代。在整个 sweep 期间,服务上没有运行其他任务。

项目配置
CorpusExgentic agent-llm-traces-v2(revision 4b8ad4ab),harness=claude_code、benchmark=swebench:495 个会话
Corpus profile每个会话中位数为 37 次调用;每次调用的平均输入为 27k tokens;每个会话的上下文峰值 p50 为 36k / p90 为 66k / p99 为 103k / 最大值为 121k;每次调用的输入中约 ~97 % 会重复上一次调用(每轮新增约 ~800 个 tokens);平均输出为 211 个 tokens
Replay每个会话从其记录轨迹的 25–75 % 处随机开始,因此会话从一开始就处于不同深度;顺序采样,seed 为 42
Rungs(负载级别)16 / 32 / 64 / 128 个会话,每个级别计时请求持续 900 s(另加 120 s 等待进行中的请求完成),运行一轮;不计入预热请求
Cache isolationcacheBust: first_turn_prefix — 每次 replay 的第一条用户消息中包含唯一标记,因此某个级别无法复用更早级别的会话前缀(该消息之前共享的 system prompt 和工具定义仍可缓存),而同一会话内的各轮仍会相互复用缓存
Ingress产品 MaaS gateway(API key)、streaming、engine 报告的 token 计数
Engine counters8 个 engine 的 /metrics,由 load generator 每 3 s 读取一次

通过标准(在运行前设定)。 结果表中的每个数值都在每个级别的后半段测量——将该级别的计时请求按开始时间排序,取该半段中第一次开始到最后一次结束的时间窗口。某个级别通过的条件是:在该窗口内,TTFT P90 低于 10 s,且窗口稳定(其两个半段的 token 间延迟中位数相差不超过 25 %)。结果取通过的最高级别,不进行插值。

TTFT 是第一个 streaming token 所需的时间。GLM-5.2 会在回答前进行推理,因此该 token 可能是 reasoning token;第一个回答 token是第一个非 reasoning token。ISL / OSL 分别是每个请求的输入 / 输出 tokens(OSL 包含 reasoning)。Output TPS 是窗口内请求的输出 tokens 除以窗口时长;total TPS 则在此基础上加上其输入 tokens,定义与 overview 页面中 TPS 的定义相同。

Benchmark 结果

各负载级别结论(测量窗口)

会话数窗口实际会话数TTFT P50 / P90(秒)第一个回答 token P90(秒)ITL 平均值 / P95(毫秒)稳定性通过
168 分钟9.73.17 / 4.384.4329.4 / 40.8−1 %✅
328 分钟21.23.73 / 5.025.0833.0 / 46.50 %✅
649 分钟47.26.27 / 9.2510.6039.0 / 54.9−1 %✅
12810 分钟94.815.26 / 24.8428.8443.0 / 62.7−2 %❌

输入、输出与吞吐量(测量窗口)

会话数ISL 平均值ISL P50 / P90 / P99 / 最大值OSL 平均值Output TPS(tok/s)Total TPS(tok/s)已完成请求数/s每会话输出(tok/s)
1628,77726,177 / 44,193 / 56,312 / 57,11311115740,7021.4134.0
3230,58929,564 / 43,967 / 61,024 / 69,75913132876,7352.5030.3
6428,94427,564 / 43,072 / 69,445 / 86,455134510110,9523.8225.6
12830,19627,132 / 47,580 / 61,134 / 79,443154595117,5183.8723.2
NOTE

实际会话数是有请求在执行中的会话数的时间平均值;由于重放的会话会在轮次之间等待其记录的工具执行时间,因此该值低于名义会话数。每会话输出为 1,000 / 平均 ITL,即单个用户在响应流式传输期间看到的速率。它不是 Output TPS 除以实际会话数:请求在收到第一个 token 之前会有一部分时间处于执行中(排队和预填充),此时不会输出任何内容。在整个 sweep 期间,共发送了 12,639 个计时请求,其中 10 个失败(0.08 %)。使用 MTP 时,在每个完整负载级别上,decode 平均每步输出 3.7–3.8 个 token(草拟 5 个 token,其中 55–57 % 的草拟 token 被接受)。

128 会话负载级别在哪里达到饱和

每个测量窗口内的 engine counters:

会话数每节点运行中的 Decode,平均值(峰值)Decode KV 峰值抢占次数运行中的 Prefill 平均值 / 峰值(4 个节点)排队中的 Prefill 平均值 / 峰值,4 个节点(处于排队状态的时间占比)Prefill 新 token / 分钟Prefill 前缀命中率从 KV 池加载的 Prefill 输入(命中部分)
161.3–1.5 (6)3.4 %01.5 / 60.0 / 0 (0 %)80k96.7 %8 %
322.9–3.2 (7)6.3 %03.8 / 120.0 / 0 (0 %)152k96.7 %8 %
645.4–6.5 (14)12.5 %010.7 / 230.7 / 10 (26 %)261k96.1 %14 %
1287.2–8.2 (21)15.9 %012.8 / 2527.8 / 52 (83 %)300k95.9 %32 %

每节点运行中的 Decode 是四个节点平均值的范围,括号中为任一节点上的最高峰值。

  • Decode 不是瓶颈。 四个 Decode 节点的负载很均衡(单个节点最多 21 个请求,而其 max-num-seqs 为 32),KV 峰值为 16 %,且没有发生抢占。
  • 请求在 Prefill 阶段排队:在 128 个会话时,有 83 % 的时间处于排队状态,但请求排队期间,每个 Prefill 节点仅计算约 4 个请求(其 max-num-seqs 为 8),且仅有 13–14 % 的 KV 在使用。尚未定位排队原因——没有进行 operator 级别的 profiling。可能原因包括 8,192-token 的步长预算、从 KV 池加载缓存前缀所需的时间,以及四个 Prefill 节点同步执行 step(由于 experts 分布在全部 32 张卡上,每个节点会同时执行每个 step,因此由最慢的节点决定处理节奏)。
  • 将会话数从 64 增加到 128 后,已完成请求数每秒增加了 1 %(3.82 → 3.87;由于响应更长,OSL 从 134 增加到 154,Output TPS 上升了 17 %):到 128 个会话时,额外负载已转化为 Prefill 排队。

注意事项

  • 这些会话比 128k token 及以上的长上下文智能体会话更短。 在测量窗口内,输入最长达到 86k token(语料库最大值为 121k)。更长的会话会使 Prefill 和 Decode 都更加繁重;不要将 64 会话的数值套用到 128k-token 会话。
  • 64 会话的测试范围较窄,且仅测量过一次。 其 TTFT P90 比基准线低 0.75 秒,而首个回答 token 的 P90(10.6 秒)高于该基准线。
  • 并发的 1M 请求会改变 Decode 路由。 在另一次重放测试中,另外有三个 1M 会话持续运行,coding 请求集中到没有 1M 请求的那个 Decode 节点上:64 个会话时,该节点平均有 25 个运行中的请求,并有 9% 的时间达到其 max-num-seqs 32;ITL 从 39 ms 上升到 55 ms,TTFT P90 从 9.25 秒上升到 10.1 秒——高于本页面的 10 秒基准线,因此在该负载下 64 个会话无法通过。可能原因(根据推断,未通过更改路由进行测试)是 in-flight 按请求长度预留,因此处理 1M 请求的节点看起来约相当于有 30 个 coding 请求在运行。128 个会话时,无论是否有 1M 负载,Prefill 排队情况大致相同(平均排队数为 27.8 对 28.3,处于排队状态的时间占比为 83% 对 89%)。
  • 前缀未缓存的 1M 请求速度很慢。 一个没有任何缓存的约 970k-token 请求,直到生成第一个 token 用时 381 秒(测量过一次,直接发送到 Prefill 节点)。单个请求在一个 Prefill 节点上计算;另外三个节点大部分时间处于空闲状态。当前缀已缓存时,单独运行的 1M 请求(三个会话)通过 MaaS 测得 TTFT P50 为 7.6 秒 / P90 为 11.7 秒。前缀会一直保留在 KV 池中,直到 KV 池填满并驱逐最近读取时间最早的前缀;本次测试期间发生了四次驱逐。
  • fastokens 对 1M TTFT 很重要。 vLLM-Ascend v0.23.0 镜像不包含它;一个已缓存的 1M 请求通过 MaaS 测得的 TTFT,在不使用它时为 20.8 秒,使用它时为 10.7 秒,主要差异来自 tokenization(整个提示词会在 Prefill 阶段进行一次 tokenization,并在 Decode 阶段再次进行)。coding-agent 测试未测量不使用它的情况;以本次测试的输入长度估算,不使用它会使 TTFT 增加约 0.25 秒。Community 镜像来自 v0.28.0.rc1 中 pin 为 fastokens==0.2.0 的版本 requirements.txt(vllm-ascend #15351);使用这些镜像时可以省略 pip 步骤,但 0.2.0 并非本页验证过的版本。
  • 未评估准确率。 vLLM-Ascend v0.23.0 GLM-5.2 指南 将 w4a8c8 权重列为实验性功能,并指出其在 P/D 解耦部署中存在已知的准确率问题,同时列出 1M 上下文仅在 Atlas 800 A3 上经过验证。本文报告的是性能;投入生产使用前,请针对自己的工作负载评估准确率。
  • 发现的错误: 所有 10 个失败请求在重放的 token 限制内都产生了 reasoning,但没有回答内容。几乎所有预热请求(每个会话槽位一个,由 aiperf 在每个负载级别开始时发送;240 个请求中有 223 个)都以相同方式结束;预热请求不计入统计。