Gemma-4-31B-it
Gemma4ForConditionalGeneration 是一个稠密多模态模型。本次验证涵盖其文本生成服务路径:文本骨干网络包含 60 层,隐藏层大小为 5,376,包含 32 个注意力头 / 16 个 KV 头,词汇表大小为 262,144 个 token,原生上下文窗口为 262,144 个 token。经过验证的部署为 P4+D4:一个 4 卡 Prefill 引擎和一个 4 卡 Decode 引擎,由 KServe LLMInferenceService 与 InferNex Bridge 协同管理。这是一个 8 × Ascend 910B3 64 GB 组合服务,而不是一个 4 卡副本。
模型标识
经过验证的硬件 × 软件栈
这是一个基于 vLLM-Ascend 提交 b481d79c7de49ab285e61cec689172931c124429 构建的有日期的 nightly-main 快照。该 manifest 固定了其公开 ARM64 digest;它是经过验证的部署所使用的确切镜像内容,并不表示该标签对应最新的 vLLM-Ascend 构建版本。
模型配置
为什么采用 P4+D4
此前的聚合 TP4 部署与 P4+D4 使用的是不同的资源配置。聚合服务使用四个 NPU,并将较长的 Prefill 工作与 Decode 混合处理;P4+D4 使用八个 NPU,并将 Prefill 动态步骤从 Decode 进程中移除。在此前的容量研究中,在目标速率为 3、持续 900 秒的 512/256 chatbot 工作负载上,聚合 TP4 最多仅达到 2.554 的已完成 RPS,结束时 Running=104 和 Waiting=294。因此,P4+D4 是生产候选方案,但其吞吐量绝不能表述为四卡聚合结果。
部署
该部署规范是一个自包含的 KServe LLMInferenceService 模板,其中包含 TP4 Decode 模板、TP4 Prefill 模板、InferNex 路由器/调度器、InferencePool 以及外部路由。
应用该规范前,请设置命名空间、两个节点名称、模型 PVC 以及集群的 registry 引用。该 manifest 假定 P/D 对具有相同的 TP 大小,并且两个引擎都可以使用 Ascend Direct 传输。
基准测试结果
通过 MaaS 使用其 API key 驱动的闭环 aiperf 0.7.0。两种场景均在并发数为 8 / 16 / 32 时,每个并发层级运行 480 个请求,预热量等于该层级的并发数。TTFT / E2E 的单位为秒,ITL 的单位为毫秒,Decode 表示仅输出 token 吞吐量,TPS 表示输入加输出 token 吞吐量。
场景 ① — 固定长度 system prompt 复用(ISL 8,013 / OSL 128)
场景 ② — 多轮对话(平均 ISL 17,933 / OSL 128)
每个层级均完成了 480 个请求,且错误数为零。在两种场景中,从并发数 8 开始,吞吐量和 ITL 均保持平稳,而 TTFT 随并发数增加而增长。该服务受 Prefill 容量限制,输入主导型 token 吞吐量约为 8k/s:平均 ISL 从 8,013 增加到 17,933 后,请求吞吐量从 1.02 请求/秒降至 0.44 请求/秒,而总 token 吞吐量仅变化约 4.8%。Decode ITL 保持稳定,接近 29 毫秒。
基准测试请求发送到 MaaS,其后端选择了此 P4+D4 代理。API key 从 Kubernetes Secret 注入,未写入 manifest、基准测试日志或本页面。由于 AIPerf 0.7.0 无法解析此 vLLM 指标直方图,因此禁用了服务器指标和 GPU 遥测;发布的数值来自已完成的请求记录和 CSV 导出。六个层级均完成了 480 个请求,且错误数为零,四个服务 Pod 的重启次数也始终为零。
交付的调度器有意省略了 tokenizer 插件。此拓扑仅包含一个固定的 Prefill/Decode 对,且没有前缀缓存生产者,因此 tokenization 不会增加任何路由选择。经过测试的 Hermes Router 26.6.0-rc.3 将 tokenizer 初始化截止时间设为 5 秒,而此 Gemma tokenizer 冷加载耗时 17.59 秒。未来采用多对、感知前缀的部署时,应首先使用初始化截止时间可配置且至少为 30 秒的 router 构建版本,然后恢复 tokenizer 插件。
真实编码智能体验证
Gemma-4 还通过同一个 MaaS 网关作为真实编码智能体运行,并启用了推理/思考功能。Pi 0.80.6 和 OpenCode 1.17.18 在并发数 1 / 8 / 32 下运行固定的 14 个任务 capacity14 Terminal-Bench 选集。并发数 1 和 8 为每个任务执行一次尝试;并发数 32 为每个任务执行三次尝试,共 42 次试验。客观任务验证器生成了以下分数。
Pi 0.80.6
测试框架报告 Pi 并发数 32 的 Pass@2 = 54.8%。并发数 8 是 Pi 观察到的最佳运行点:增加到 32 并未提高通过率或正确任务吞吐量,且引入了 15 次 AgentTimeoutError 试验。
OpenCode 1.17.18
OpenCode 并发数 32 报告的 Pass@2 = 42.9%。其最佳正确任务吞吐量同样出现在并发数 8,而其最高通过率则出现在串行的并发数 1 运行中。并发数 32 的层级增加了 16 次 AgentTimeoutError 试验,并同时降低了原始通过率和 Pass@2,因此并发数 32 不适合作为此部署中任一智能体的运行点。
在两次智能体测试中,Gemma Prefill、Decode、调度器和代理 Pod 始终处于 Ready 状态,重启次数为零,且未出现服务端 5xx 或 traceback。因此,超时试验记录为智能体/任务级失败,而不是引擎崩溃。Pi 在面向吞吐量的并发数 8 运行点表现更强(7/14,而 OpenCode 为 6/14);OpenCode 在串行并发数 1 下表现更强(7/14,而 Pi 为 5/14)。此前的 mini7 结果仍作为冒烟证据,但不用于正式的智能体评分。