Gemma-4-31B-it

Gemma4ForConditionalGeneration 是一个稠密多模态模型。本次验证涵盖其文本生成服务路径:文本骨干网络包含 60 层,隐藏层大小为 5,376,包含 32 个注意力头 / 16 个 KV 头,词汇表大小为 262,144 个 token,原生上下文窗口为 262,144 个 token。经过验证的部署为 P4+D4:一个 4 卡 Prefill 引擎和一个 4 卡 Decode 引擎,由 KServe LLMInferenceService 与 InferNex Bridge 协同管理。这是一个 8 × Ascend 910B3 64 GB 组合服务,而不是一个 4 卡副本。

模型标识

字段值
发布者 / 模型Google / google/gemma-4-31B-it
架构gemma4 / Gemma4ForConditionalGeneration;稠密多模态模型,本次验证用于文本生成
文本骨干网络60 层;隐藏层大小 5,376;32 个注意力头 / 16 个 KV 头
上下文 / 词汇表262,144 / 262,144
精度BF16

经过验证的硬件 × 软件栈

平台引擎版本 / 配置状态
Ascend 910B3 64 GB × 8,跨 2 个节点vLLM-Ascendnightly-main-openeuler-20260804-b481d79c(ARM64 manifest sha256:fa246685...,CANN 9.0.1)通过 MaaS 完成 P4+D4 闭环 AIPerf 验证
NOTE

这是一个基于 vLLM-Ascend 提交 b481d79c7de49ab285e61cec689172931c124429 构建的有日期的 nightly-main 快照。该 manifest 固定了其公开 ARM64 digest;它是经过验证的部署所使用的确切镜像内容,并不表示该标签对应最新的 vLLM-Ascend 构建版本。

模型配置

组件设置
Prefill单个 910B3 节点上 TP=4;max-num-batched-tokens=8192;PIECEWISE ACLGraph
Decode第二个节点上 TP=4;max-num-batched-tokens=128;FULL_DECODE_ONLY 图捕获
P/D 交接MooncakeConnectorV1、Ascend Direct KV 传输、TP4/TP4 合约
容量保护两个引擎均使用 max-num-seqs=96;gpu-memory-utilization=0.9
前缀缓存在引擎中禁用;工作负载使用显式 P/D KV 传输
调度器一个固定的 P/D 对;基于指标的 P/D 评分,不使用 tokenizer sidecar
工具调用和推理--enable-auto-tool-choice --tool-call-parser gemma4 --reasoning-parser gemma4

为什么采用 P4+D4

此前的聚合 TP4 部署与 P4+D4 使用的是不同的资源配置。聚合服务使用四个 NPU,并将较长的 Prefill 工作与 Decode 混合处理;P4+D4 使用八个 NPU,并将 Prefill 动态步骤从 Decode 进程中移除。在此前的容量研究中,在目标速率为 3、持续 900 秒的 512/256 chatbot 工作负载上,聚合 TP4 最多仅达到 2.554 的已完成 RPS,结束时 Running=104 和 Waiting=294。因此,P4+D4 是生产候选方案,但其吞吐量绝不能表述为四卡聚合结果。

部署

该部署规范是一个自包含的 KServe LLMInferenceService 模板,其中包含 TP4 Decode 模板、TP4 Prefill 模板、InferNex 路由器/调度器、InferencePool 以及外部路由。

规范文件
P4+D4、KServe + InferNex Bridgegemma4-31b-it-pd-p4d4-llmisvc.yaml

应用该规范前,请设置命名空间、两个节点名称、模型 PVC 以及集群的 registry 引用。该 manifest 假定 P/D 对具有相同的 TP 大小,并且两个引擎都可以使用 Ascend Direct 传输。

base=https://raw.githubusercontent.com/alauda/aml-docs/master/docs/en/plan/validated_models/ascend/assets/gemma4-31b-it
kubectl apply -f $base/gemma4-31b-it-pd-p4d4-llmisvc.yaml

# Production MaaS ingress:
curl -s https://<maas-host>/v1/chat/completions \
  -H "Authorization: Bearer $MAAS_API_KEY" \
  -H 'Content-Type: application/json' \
  -d '{"model":"google/gemma-4-31B-it","messages":[{"role":"user","content":"hello"}]}'

基准测试结果

通过 MaaS 使用其 API key 驱动的闭环 aiperf 0.7.0。两种场景均在并发数为 8 / 16 / 32 时,每个并发层级运行 480 个请求,预热量等于该层级的并发数。TTFT / E2E 的单位为秒,ITL 的单位为毫秒,Decode 表示仅输出 token 吞吐量,TPS 表示输入加输出 token 吞吐量。

场景 ① — 固定长度 system prompt 复用(ISL 8,013 / OSL 128)

并发数TTFT 平均值(秒)ITL 平均值(毫秒)E2E 平均值(秒)Decode(tok/s)请求数/秒TPS(输入+输出)
84.09629.337.821129.971.028,266.38
1611.81629.2915.536129.821.018,256.63
3226.84329.3630.572129.841.018,257.80

场景 ② — 多轮对话(平均 ISL 17,933 / OSL 128)

并发数TTFT 平均值(秒)ITL 平均值(毫秒)E2E 平均值(秒)Decode(tok/s)请求数/秒TPS(输入+输出)
814.58528.8218.24655.690.447,857.50
1632.48828.7936.14555.710.447,861.46
3267.29528.8570.95955.720.447,862.21

每个层级均完成了 480 个请求,且错误数为零。在两种场景中,从并发数 8 开始,吞吐量和 ITL 均保持平稳,而 TTFT 随并发数增加而增长。该服务受 Prefill 容量限制,输入主导型 token 吞吐量约为 8k/s:平均 ISL 从 8,013 增加到 17,933 后,请求吞吐量从 1.02 请求/秒降至 0.44 请求/秒,而总 token 吞吐量仅变化约 4.8%。Decode ITL 保持稳定,接近 29 毫秒。

NOTE

基准测试请求发送到 MaaS,其后端选择了此 P4+D4 代理。API key 从 Kubernetes Secret 注入,未写入 manifest、基准测试日志或本页面。由于 AIPerf 0.7.0 无法解析此 vLLM 指标直方图,因此禁用了服务器指标和 GPU 遥测;发布的数值来自已完成的请求记录和 CSV 导出。六个层级均完成了 480 个请求,且错误数为零,四个服务 Pod 的重启次数也始终为零。

交付的调度器有意省略了 tokenizer 插件。此拓扑仅包含一个固定的 Prefill/Decode 对,且没有前缀缓存生产者,因此 tokenization 不会增加任何路由选择。经过测试的 Hermes Router 26.6.0-rc.3 将 tokenizer 初始化截止时间设为 5 秒,而此 Gemma tokenizer 冷加载耗时 17.59 秒。未来采用多对、感知前缀的部署时,应首先使用初始化截止时间可配置且至少为 30 秒的 router 构建版本,然后恢复 tokenizer 插件。

真实编码智能体验证

Gemma-4 还通过同一个 MaaS 网关作为真实编码智能体运行,并启用了推理/思考功能。Pi 0.80.6 和 OpenCode 1.17.18 在并发数 1 / 8 / 32 下运行固定的 14 个任务 capacity14 Terminal-Bench 选集。并发数 1 和 8 为每个任务执行一次尝试;并发数 32 为每个任务执行三次尝试,共 42 次试验。客观任务验证器生成了以下分数。

Pi 0.80.6

并发数已完成试验数通过数通过率智能体超时数墙钟时间正确任务吞吐量
114 / 145 / 1435.7%01h 23m 24s3.60 tasks/hr
814 / 147 / 1450.0%116m 13s25.89 tasks/hr
3242 / 4220 / 4247.6%151h 8m 59s17.40 tasks/hr

测试框架报告 Pi 并发数 32 的 Pass@2 = 54.8%。并发数 8 是 Pi 观察到的最佳运行点:增加到 32 并未提高通过率或正确任务吞吐量,且引入了 15 次 AgentTimeoutError 试验。

OpenCode 1.17.18

并发数已完成试验数通过数通过率智能体超时数墙钟时间正确任务吞吐量
114 / 147 / 1450.0%01h 35m 17s4.41 tasks/hr
814 / 146 / 1442.9%016m 1s22.47 tasks/hr
3242 / 4215 / 4235.7%1650m 35s17.79 tasks/hr

OpenCode 并发数 32 报告的 Pass@2 = 42.9%。其最佳正确任务吞吐量同样出现在并发数 8,而其最高通过率则出现在串行的并发数 1 运行中。并发数 32 的层级增加了 16 次 AgentTimeoutError 试验,并同时降低了原始通过率和 Pass@2,因此并发数 32 不适合作为此部署中任一智能体的运行点。

在两次智能体测试中,Gemma Prefill、Decode、调度器和代理 Pod 始终处于 Ready 状态,重启次数为零,且未出现服务端 5xx 或 traceback。因此,超时试验记录为智能体/任务级失败,而不是引擎崩溃。Pi 在面向吞吐量的并发数 8 运行点表现更强(7/14,而 OpenCode 为 6/14);OpenCode 在串行并发数 1 下表现更强(7/14,而 Pi 为 5/14)。此前的 mini7 结果仍作为冒烟证据,但不用于正式的智能体评分。