Gemma-4-31B-it (NVFP4)

gemma4 密集型多模态模型,拥有 31B 个参数,以NVFP4 检查点(~23 GB)形式仅提供文本服务,并配备 Google 官方的MTP assistant用于推测解码。 已在单个 NVIDIA RTX PRO 6000 Blackwell 上通过 Community vLLM v0.31.0 完成验证,并作为位于 Alauda AI Platform MaaS gateway 后的纯 KServe LLMInferenceService 部署。 GPU 内存预算限制为 84 GB,以模拟 RTX PRO 6000D。上下文长度为 128k,默认启用思考功能。有关 Ascend 上的 BF16 模型,请参阅 Gemma-4-31B-it。

模型标识

字段值
发布者Google
架构gemma4 / Gemma4ForConditionalGeneration;60 层(其中 50 层为窗口大小为 1,024 个令牌的滑动窗口层,10 层为全注意力层),隐藏层大小为 5,376,词汇表大小为 262,144;支持多模态,仅提供文本服务(--language-model-only)
检查点RedHatAI/gemma-4-31B-it-NVFP4 @ 5df75cca(23.27 GB):所有线性层均采用 NVFP4(W4A4)
草稿模型google/gemma-4-31B-it-assistant @ 627c5ec1(0.94 GB,4 层),每个草稿生成 4 个令牌
ModelCar 镜像docker.io/alaudadockerhub/modelcar-gemma-4-31b-it-nvfp4:v0.1.0(检查点)和 docker.io/alaudadockerhub/modelcar-gemma-4-31b-it-assistant:v0.1.0(草稿模型):由 Cosign 签名,支持 amd64 + arm64,每个文件均与上述版本逐字节一致(已通过 sha256 校验)
许可证Apache 2.0(基础模型、NVFP4 检查点和草稿模型)
已发布的准确率保持率在启用思考功能时为原始模型的 98–105%(例如,根据检查点卡片,MMLU-Pro 为 99.2%、GPQA Diamond 为 100.8%、BFCLv4 为 100.7%)

已验证的硬件与软件栈

平台引擎版本 / 配置状态
NVIDIA RTX PRO 6000 Blackwell 96 GB × 1(SM120),限制为 84 GB;AWS g7e.2xlargevLLM(Community)docker.io/vllm/vllm-openai:v0.31.0(CUDA 13.0.2),NVIDIA 驱动程序 580.126.09✅ 已通过 MaaS 完成功能检查和 Exgentic agent-replay 基准测试
NOTE

速度数据是在标准的 96 GB RTX PRO 6000 上测得,内存预算缩减至 84 GB (--gpu-memory-utilization=0.805)。这模拟的是 RTX PRO 6000D 的 KV 容量,而非其计算能力或带宽;后两者较低——在引用 6000D 的速度数据前,请使用真实的 6000D 重新测量。未使用 Alauda AI Platform 捆绑的 vLLM(0.23.0):Community v0.31.0 镜像由一个 LLMInferenceServiceConfig 引入,仅覆盖容器镜像。

模型配置

参数值
max-model-len131072
gpu-memory-utilization0.805(96 GB 显卡上使用 84 GB 预算;RTX PRO 6000D 上使用 0.92)
max-num-seqs32(vLLM 在大容量显卡上的默认值为 1024,会为所有采样器预留显存;仅 262k 词汇表就需要约 1 GiB)
max-num-batched-tokens8192(已启用前缀缓存)
KV 缓存数据类型BF16(检查点未包含 FP8 KV 缩放系数)
注意力后端Triton(vLLM 针对 SM120 上 Gemma 4 的两种头大小 256 和 512 选择)
推测解码官方 MTP assistant,num_speculative_tokens=4;在下方的智能体重放中,约 65% 的草稿令牌被接受(每步 3.6 个令牌)
KV 容量使用 MTP assistant 时约 300k 个令牌(2.3 个完整的 128k 请求);assistant 读取主模型的 KV,无需自己的 KV
思考功能默认启用(--default-chat-template-kwargs '{"enable_thinking":true}');请求可使用 chat_template_kwargs: {"enable_thinking": false} 将其关闭
工具调用 / 推理--enable-auto-tool-choice --tool-call-parser gemma4 --reasoning-parser gemma4 --chat-template /vllm-workspace/examples/tool_chat_template_gemma4.jinja(模板随 vLLM 镜像提供)
HTTP keep-aliveVLLM_HTTP_TIMEOUT_KEEP_ALIVE=3700(长于网关的空闲连接复用时长;可避免 503 UC)

部署

权重来自 Docker Hub 上的两个 ModelCars:检查点是服务的 model.uri,init 容器会将 MTP 助手从其专属 ModelCar 复制到 emptyDir(LLMInferenceService 接收一个 model.uri)。

规格文件
编译缓存 PVC + 引擎镜像配置 + LLMInferenceServicegemma4-31b-it-nvfp4-llmisvc.yaml
镜像Digest
docker.io/alaudadockerhub/modelcar-gemma-4-31b-it-nvfp4:v0.1.0sha256:1a8eca87ac19759961317474a63db4a6e570f508b1eb23a69d1a410d6baebe23
docker.io/alaudadockerhub/modelcar-gemma-4-31b-it-assistant:v0.1.0sha256:033b599c021bd740b7ad6fd90a449186b9e58a3a15f7ab6849bef53292d14031
# verify both ModelCar signatures (public key from this repository)
curl -sO https://raw.githubusercontent.com/alauda/aml-docs/master/docs/en/plan/validated_models/cosign.pub
for img in modelcar-gemma-4-31b-it-nvfp4 modelcar-gemma-4-31b-it-assistant; do
  cosign verify --key cosign.pub --insecure-ignore-tlog=true docker.io/alaudadockerhub/$img:v0.1.0
done

base=https://raw.githubusercontent.com/alauda/aml-docs/master/docs/en/plan/validated_models/nvidia/assets/gemma4-31b-it-nvfp4
# edit the namespace first, then:
kubectl apply -f $base/gemma4-31b-it-nvfp4-llmisvc.yaml
kubectl -n <your-namespace> get llminferenceservice gemma4-31b-it -w

curl -s https://<maas-host>/v1/chat/completions \
  -H "Authorization: Bearer $MAAS_API_KEY" \
  -H 'Content-Type: application/json' \
  -d '{"model":"gemma-4-31b-it","messages":[{"role":"user","content":"hello"}]}'

权重位于本地磁盘时,首次启动耗时约 6–7 分钟(权重约 3 分钟, 随后是内核编译和 CUDA graph 捕获);后续启动会复用 gemma4-31b-it-cache 上的编译缓存,耗时约 5.5 分钟。使用 ModelCars 时,还需加上首次镜像 拉取时间(检查点压缩后约 19.5 GiB,助手压缩后约 0.7 GiB)。

NOTE

本页的功能检查和基准测试使用的是从 PVC 提供的相同文件。ModelCars 包含逐字节一致的文件(已将每个文件的 sha256 与固定的 Hugging Face 版本进行核对),但该 ModelCar 清单(包括 init 容器对 MTP 助手的复制)尚未在 GPU 上运行。

WARNING
  • 启用推测解码后,vLLM 会拒绝 min_p 和 logit_bias(HTTP 400)。
  • 在此显卡上,长提示词的预填充速度较慢:32k 提示词的首令牌时间约为 7.6 秒,127k 提示词约为 84 秒(Triton attention)。命中前缀缓存的智能体回合只需预填充新增部分(见下方基准测试)。
  • 在智能体重放期间,nvidia-smi 达到了 80,941 MiB,比 84 GB 计划高出约 2.1 GiB(vLLM 未纳入预算的 PyTorch 内存)。RTX PRO 6000D 仍有 约 4.5 GiB 的剩余空间。

功能检查

在上述部署清单上通过 MaaS 网关进行的所有检查:

检查结果
工具调用(流式和非流式)10/10 和 10/10
将推理与答案分离3/3
/v1/responses(普通答案和工具调用,流式和非流式)12/12

基准测试结果

工作负载。 该基准测试重放真实的智能体轨迹,其每次调用的输入和输出长度(ISL / OSL)接近 Alauda Hyperflux 使用此模型的情况:每个问题会调用模型 3–4 次,而 Exgentic v2 子集 openai_solo × swebench 的输入长度与 Hyperflux 使用情况最接近。

负载每次调用输入(ISL)p50 / p90输出(OSL)p50 / p90
Alauda Hyperflux,工具调用回合~11.5k / ~21k~100–300
Alauda Hyperflux,最终回合~15k / ~30k~1.1k / ~3.6k(包括思考内容)
重放:Exgentic v2 openai_solo × swebench~12–17k / ~32–39k83–92 / 280–354

语料库生成的输出比 Hyperflux 的最终答案更短,因此解码侧的负载比生产环境略低。

方法。 通过 MaaS 网关使用 aiperf 0.12.0(NVIDIA 镜像),timingMode: agentic_replay(记录调用之间的间隔;会话从各自轨迹的 25–75% 处开始;每个会话都会清除缓存),每个负载等级运行 15 分钟,令牌数以引擎报告为准;9,043 个请求中有一个返回空结果(HTTP 200),没有请求失败。实际处于处理中的请求数在不同会话之间差异很大,因此按每个请求生命周期内处于处理状态的请求数的时间平均值对请求进行分组(不包括每个负载等级开始后的前 120 秒)。

处于处理中的请求数请求数TTFT p50 / p90思考后首个答案令牌 p50 / p90ITL p50 / p90每请求输出 p50(最慢 10%)输入 p50输出 p50 / p90
1–26660.24 / 0.49 s0.43 / 1.85 s10.6 / 15.7 ms94.5 (63.1) tok/s14,10081 / 301
3–41,1970.33 / 0.72 s0.66 / 2.77 s14.8 / 22.2 ms67.5 (45.1) tok/s16,45187 / 316
5–61,4280.37 / 0.86 s0.78 / 3.86 s19.0 / 28.3 ms52.7 (35.3) tok/s16,05087 / 334
7–81,5200.42 / 1.03 s0.91 / 4.11 s21.6 / 31.8 ms46.4 (31.4) tok/s16,08686 / 319

单张显卡最多可同时处理 8 个请求,TTFT p90 ≈ 1.0 s,每个请求约 46 tok/s(最慢的 10% 约 31 tok/s)。对于此工作负载,应将 8 视为上限:超过该数量后,约 300k 令牌的 KV cache 会被填满,缓存的历史记录会在回合之间被逐出。报告结果时,应使用并发请求数,而不是用户数或会话数。