Qwen3.8-27B (NVFP4)
qwen3_5 架构的稠密模型——采用 Gated DeltaNet 线性注意力混合架构(64 层中有 48 层采用线性注意力),并带有原生 MTP 头,参数量为 27B,以 NVFP4 检查点(约 25 GB)形式提供,并使用 DFlash2 推测解码。在单张 NVIDIA RTX PRO 6000 Blackwell 上,使用社区版 vLLM v0.31.0 通过验证,并以普通 KServe LLMInferenceService 的形式部署在 Alauda AI Platform MaaS 网关后方。GPU 内存预算上限设为 84 GB,以模拟 RTX PRO 6000D。上下文长度为 128k。
模型身份
已验证的硬件 × 软件栈
速度数据是在标准的 96 GB RTX PRO 6000 上测得的,内存预算缩减为
84 GB(--gpu-memory-utilization=0.805)。这只能复现 RTX PRO 6000D 的
KV 容量,不能复现其计算能力或带宽,后两者均更低——在引用 6000D
速度之前,请在真实的 6000D 上重新测量。未使用 Alauda AI Platform 随附的 vLLM (0.23.0):
Community v0.31.0 镜像由 LLMInferenceServiceConfig 引入,该组件仅覆盖容器镜像。
模型配置
部署
权重来自 Docker Hub 上的两个 ModelCar:检查点是服务的
model.uri,而 init 容器会将 draft model 从其自身的 ModelCar 复制到
emptyDir(LLMInferenceService 接受单个 model.uri)。
权重位于本地磁盘时,首次启动耗时约 9.5 分钟(权重约 3 分钟,随后是 kernel 编译、CUDA graph 捕获和 FlashInfer 调优);使用 ModelCar 时还需加上首次拉取镜像的时间(检查点压缩后约 16.3 GiB,draft model 约 2.8 GiB)。qwen38-27b-cache 上的编译缓存可让后续启动跳过编译。
本页面上的功能检查和基准测试使用的是从 PVC 提供的同一批文件。ModelCar 携带的文件逐字节一致(已将每个文件的 sha256 与固定的 Hugging Face 版本进行核对),但此 ModelCar manifest(包括 init 容器对 draft model 的复制)尚未在 GPU 上运行。
- 启用 speculative decoding 后,vLLM 会拒绝
min_p和logit_bias(HTTP 400)。 - reasoning parser 将思考内容拆分出来后,答案文本会以
"\n\n"开头;请在客户端中去除开头的空白。 - 在 KV 完全加载时,
nvidia-smi达到了 82,013 MiB——比 84 GB 计划高出约 3.1 GiB(vLLM 不会为某些 GDN scratch buffer 预留预算,#54775)。RTX PRO 6000D 仍有约 3.5 GiB 的余量;如需严格控制在 84 GB 以内,请将--gpu-memory-utilization降至 0.785。
功能检查
以下检查均通过 MaaS 网关,对上述已部署的 manifest 执行:
基准测试结果
工作负载。 基准测试重放了真实的智能体执行轨迹,其每次调用的输入和输出长度(ISL / OSL)与 Alauda Hyperflux 使用此模型的情况接近:每个问题会调用模型 3–4 次,而在该语料中,Exgentic v2 子集 openai_solo × swebench 的输入长度与 Hyperflux 的使用情况最接近。
语料中的输出比 Hyperflux 的最终答案短,因此解码端的负载略低于生产环境。
方法。 通过 MaaS 网关运行 aiperf 0.12.0(NVIDIA 镜像),timingMode: agentic_replay(按记录的调用间隔、会话从其执行轨迹的 25–75% 处开始、每个会话清除缓存),每个档位运行 15 分钟,令牌计数采用引擎报告值,错误数为 0。每个会话中实际处于并发状态的请求数差异很大,因此按每个请求生命周期内的并发请求时间平均值进行分组(不计入每个档位最初的 120 秒)。
单张卡可同时处理多达 8 个请求,TTFT p90 ≤ 0.7 s,每个请求约 ~50 tok/s(最慢的 10% 约 ~35 tok/s)。对于此工作负载,应将 8 视为上限:超过此值时,515k 令牌的 KV 缓存会被填满,缓存历史会在轮次间被淘汰。报告结果时请以并发请求数为准,而非用户数或会话数。