Gemma-4-31B-it (NVFP4)
gemma4 密集型多模态模型,拥有 31B 个参数,以NVFP4
检查点(~23 GB)形式仅提供文本服务,并配备 Google 官方的MTP assistant用于推测解码。
已在单个 NVIDIA RTX PRO 6000 Blackwell 上通过 Community vLLM v0.31.0
完成验证,并作为位于 Alauda AI Platform MaaS gateway 后的纯 KServe LLMInferenceService 部署。
GPU 内存预算限制为 84 GB,以模拟 RTX PRO 6000D。上下文长度为
128k,默认启用思考功能。有关 Ascend 上的 BF16 模型,请参阅
Gemma-4-31B-it。
模型标识
已验证的硬件与软件栈
速度数据是在标准的 96 GB RTX PRO 6000 上测得,内存预算缩减至 84 GB
(--gpu-memory-utilization=0.805)。这模拟的是 RTX PRO 6000D 的 KV 容量,而非其计算能力或带宽;后两者较低——在引用 6000D 的速度数据前,请使用真实的 6000D 重新测量。未使用 Alauda AI Platform 捆绑的 vLLM(0.23.0):Community v0.31.0 镜像由一个 LLMInferenceServiceConfig 引入,仅覆盖容器镜像。
模型配置
部署
权重来自 Docker Hub 上的两个 ModelCars:检查点是服务的
model.uri,init 容器会将 MTP 助手从其专属 ModelCar 复制到
emptyDir(LLMInferenceService 接收一个 model.uri)。
权重位于本地磁盘时,首次启动耗时约 6–7 分钟(权重约 3 分钟,
随后是内核编译和 CUDA graph 捕获);后续启动会复用
gemma4-31b-it-cache 上的编译缓存,耗时约 5.5 分钟。使用 ModelCars 时,还需加上首次镜像
拉取时间(检查点压缩后约 19.5 GiB,助手压缩后约 0.7 GiB)。
本页的功能检查和基准测试使用的是从 PVC 提供的相同文件。ModelCars 包含逐字节一致的文件(已将每个文件的 sha256 与固定的 Hugging Face 版本进行核对),但该 ModelCar 清单(包括 init 容器对 MTP 助手的复制)尚未在 GPU 上运行。
- 启用推测解码后,vLLM 会拒绝
min_p和logit_bias(HTTP 400)。 - 在此显卡上,长提示词的预填充速度较慢:32k 提示词的首令牌时间约为 7.6 秒,127k 提示词约为 84 秒(Triton attention)。命中前缀缓存的智能体回合只需预填充新增部分(见下方基准测试)。
- 在智能体重放期间,
nvidia-smi达到了 80,941 MiB,比 84 GB 计划高出约 2.1 GiB(vLLM 未纳入预算的 PyTorch 内存)。RTX PRO 6000D 仍有 约 4.5 GiB 的剩余空间。
功能检查
在上述部署清单上通过 MaaS 网关进行的所有检查:
基准测试结果
工作负载。 该基准测试重放真实的智能体轨迹,其每次调用的输入和输出长度(ISL / OSL)接近 Alauda Hyperflux 使用此模型的情况:每个问题会调用模型 3–4 次,而 Exgentic v2 子集 openai_solo × swebench 的输入长度与 Hyperflux 使用情况最接近。
语料库生成的输出比 Hyperflux 的最终答案更短,因此解码侧的负载比生产环境略低。
方法。 通过 MaaS 网关使用 aiperf 0.12.0(NVIDIA 镜像),timingMode: agentic_replay(记录调用之间的间隔;会话从各自轨迹的 25–75% 处开始;每个会话都会清除缓存),每个负载等级运行 15 分钟,令牌数以引擎报告为准;9,043 个请求中有一个返回空结果(HTTP 200),没有请求失败。实际处于处理中的请求数在不同会话之间差异很大,因此按每个请求生命周期内处于处理状态的请求数的时间平均值对请求进行分组(不包括每个负载等级开始后的前 120 秒)。
单张显卡最多可同时处理 8 个请求,TTFT p90 ≈ 1.0 s,每个请求约 46 tok/s(最慢的 10% 约 31 tok/s)。对于此工作负载,应将 8 视为上限:超过该数量后,约 300k 令牌的 KV cache 会被填满,缓存的历史记录会在回合之间被逐出。报告结果时,应使用并发请求数,而不是用户数或会话数。