Qwen3.8-27B (NVFP4)

qwen3_5 架构的稠密模型——采用 Gated DeltaNet 线性注意力混合架构(64 层中有 48 层采用线性注意力),并带有原生 MTP 头,参数量为 27B,以 NVFP4 检查点(约 25 GB)形式提供,并使用 DFlash2 推测解码。在单张 NVIDIA RTX PRO 6000 Blackwell 上,使用社区版 vLLM v0.31.0 通过验证,并以普通 KServe LLMInferenceService 的形式部署在 Alauda AI Platform MaaS 网关后方。GPU 内存预算上限设为 84 GB,以模拟 RTX PRO 6000D。上下文长度为 128k。

模型身份

字段值
发布方Qwen (Alibaba)
架构qwen3_5 — Gated DeltaNet 线性注意力(48 层)+ 全注意力(16 层)+ 原生 MTP;支持多模态,以纯文本方式提供(--language-model-only)
检查点RedHatAI/Qwen3.8-27B-NVFP4 @ 2889ddee(24.69 GB):MLP 使用 NVFP4 (W4A4);注意力、GDN 投影和第 56–63 层使用 FP8
草稿模型incoai/Qwen3.8-27B-DFlash2 @ 015e7956(3.85 GB),每次草拟 7 个令牌
ModelCar 镜像docker.io/alaudadockerhub/modelcar-qwen3.8-27b-nvfp4:v0.1.0(检查点)和 docker.io/alaudadockerhub/modelcar-qwen3.8-27b-dflash2:v0.1.0(草稿模型):经 Cosign 签名,支持 amd64 + arm64,且每个文件都与上述版本逐字节一致(已通过 sha256 校验)
许可证Apache 2.0(基础模型、NVFP4 检查点和草稿模型)
已发布的准确率保留率约为原始水平的 99%(例如,根据检查点卡,SWE-Bench 为 78.0,对比 78.8)

已验证的硬件 × 软件栈

平台引擎版本 / 配置状态
NVIDIA RTX PRO 6000 Blackwell 96 GB × 1 (SM120),限制为 84 GB;AWS g7e.2xlargevLLM(Community)docker.io/vllm/vllm-openai:v0.31.0(CUDA 13.0.2),NVIDIA 驱动 580.126.09✅ 已通过 MaaS 完成功能检查和 Exgentic agent-replay 基准测试
NOTE

速度数据是在标准的 96 GB RTX PRO 6000 上测得的,内存预算缩减为 84 GB(--gpu-memory-utilization=0.805)。这只能复现 RTX PRO 6000D 的 KV 容量,不能复现其计算能力或带宽,后两者均更低——在引用 6000D 速度之前,请在真实的 6000D 上重新测量。未使用 Alauda AI Platform 随附的 vLLM (0.23.0): Community v0.31.0 镜像由 LLMInferenceServiceConfig 引入,该组件仅覆盖容器镜像。

模型配置

参数值
max-model-len131072
gpu-memory-utilization0.805(96 GB 显卡上的 84 GB 预算;在 RTX PRO 6000D 上使用 0.92)
max-num-seqs32
max-num-batched-tokens8192(已启用前缀缓存;混合块大小为 784 → 每步 7,840 个令牌)
KV 缓存数据类型BF16(Qwen3.5 系列检查点不加载 KV 缩放因子,vLLM #54623)
推测解码DFlash2,num_speculative_tokens=7
KV 容量使用 DFlash2 时为 515k 个令牌(不使用推测解码时为 812k 个令牌)
工具调用 / 推理--enable-auto-tool-choice --tool-call-parser qwen3_coder --reasoning-parser qwen3
HTTP 保持连接VLLM_HTTP_TIMEOUT_KEEP_ALIVE=3700(长于网关的空闲复用时间;避免 503 UC)

部署

权重来自 Docker Hub 上的两个 ModelCar:检查点是服务的 model.uri,而 init 容器会将 draft model 从其自身的 ModelCar 复制到 emptyDir(LLMInferenceService 接受单个 model.uri)。

Spec文件
编译缓存 PVC + engine 镜像配置 + LLMInferenceServiceqwen3-8-27b-llmisvc.yaml
镜像Digest
docker.io/alaudadockerhub/modelcar-qwen3.8-27b-nvfp4:v0.1.0sha256:29e36f5bf1d731e3ee175f75ba00821292e21bc6323cfd659533fe702f927aac
docker.io/alaudadockerhub/modelcar-qwen3.8-27b-dflash2:v0.1.0sha256:ab910d1dce269083ea6b6427ce952fefd225d33e03ae60714c5ba6f391d5908a
# verify both ModelCar signatures (public key from this repository)
curl -sO https://raw.githubusercontent.com/alauda/aml-docs/master/docs/en/plan/validated_models/cosign.pub
for img in modelcar-qwen3.8-27b-nvfp4 modelcar-qwen3.8-27b-dflash2; do
  cosign verify --key cosign.pub --insecure-ignore-tlog=true docker.io/alaudadockerhub/$img:v0.1.0
done

base=https://raw.githubusercontent.com/alauda/aml-docs/master/docs/en/plan/validated_models/nvidia/assets/qwen3-8-27b
# edit the namespace first, then:
kubectl apply -f $base/qwen3-8-27b-llmisvc.yaml
kubectl -n <your-namespace> get llminferenceservice qwen38-27b -w

curl -s https://<maas-host>/v1/chat/completions \
  -H "Authorization: Bearer $MAAS_API_KEY" \
  -H 'Content-Type: application/json' \
  -d '{"model":"qwen3.8-27b","messages":[{"role":"user","content":"hello"}]}'

权重位于本地磁盘时,首次启动耗时约 9.5 分钟(权重约 3 分钟,随后是 kernel 编译、CUDA graph 捕获和 FlashInfer 调优);使用 ModelCar 时还需加上首次拉取镜像的时间(检查点压缩后约 16.3 GiB,draft model 约 2.8 GiB)。qwen38-27b-cache 上的编译缓存可让后续启动跳过编译。

NOTE

本页面上的功能检查和基准测试使用的是从 PVC 提供的同一批文件。ModelCar 携带的文件逐字节一致(已将每个文件的 sha256 与固定的 Hugging Face 版本进行核对),但此 ModelCar manifest(包括 init 容器对 draft model 的复制)尚未在 GPU 上运行。

WARNING
  • 启用 speculative decoding 后,vLLM 会拒绝 min_p 和 logit_bias(HTTP 400)。
  • reasoning parser 将思考内容拆分出来后,答案文本会以 "\n\n" 开头;请在客户端中去除开头的空白。
  • 在 KV 完全加载时,nvidia-smi 达到了 82,013 MiB——比 84 GB 计划高出约 3.1 GiB(vLLM 不会为某些 GDN scratch buffer 预留预算,#54775)。RTX PRO 6000D 仍有约 3.5 GiB 的余量;如需严格控制在 84 GB 以内,请将 --gpu-memory-utilization 降至 0.785。

功能检查

以下检查均通过 MaaS 网关,对上述已部署的 manifest 执行:

检查结果
工具调用(流式和非流式)10/10 和 10/10,缺少必需参数数为 0
推理内容与答案分离3/3
/v1/responses(纯文本答案和工具调用,流式和非流式)12/12
Exgentic 语料中的 40 个真实智能体请求,按记录发送工具定义37 个返回了工具调用(共 49 次调用):缺少必需参数数为 0,无效 JSON 数为 0,未知工具数为 0

基准测试结果

工作负载。 基准测试重放了真实的智能体执行轨迹,其每次调用的输入和输出长度(ISL / OSL)与 Alauda Hyperflux 使用此模型的情况接近:每个问题会调用模型 3–4 次,而在该语料中,Exgentic v2 子集 openai_solo × swebench 的输入长度与 Hyperflux 的使用情况最接近。

负载每次调用的输入(ISL)p50 / p90输出(OSL)p50 / p90
Alauda Hyperflux,工具调用轮次~11.5k / ~21k~100–300
Alauda Hyperflux,最终轮次~15k / ~30k~1.1k / ~3.6k(包括思考内容)
重放:Exgentic v2 openai_solo × swebench~11–16k / ~20–38k42–96 / 230–380

语料中的输出比 Hyperflux 的最终答案短,因此解码端的负载略低于生产环境。

方法。 通过 MaaS 网关运行 aiperf 0.12.0(NVIDIA 镜像),timingMode: agentic_replay(按记录的调用间隔、会话从其执行轨迹的 25–75% 处开始、每个会话清除缓存),每个档位运行 15 分钟,令牌计数采用引擎报告值,错误数为 0。每个会话中实际处于并发状态的请求数差异很大,因此按每个请求生命周期内的并发请求时间平均值进行分组(不计入每个档位最初的 120 秒)。

并发请求数请求数TTFT p50 / p90首个答案令牌(思考内容之后)p50 / p90ITL p50 / p90每请求输出 p50(最慢的 10%)输入 p50输出 p50 / p90
1–21,3670.24 / 0.37 s0.62 / 1.60 s11.1 / 18.2 ms89.8 (54.9) tok/s11,20542 / 263
3–45800.30 / 0.52 s0.81 / 2.09 s14.1 / 22.5 ms71.0 (44.4) tok/s11,77342 / 233
5–65570.40 / 0.64 s1.25 / 3.11 s19.0 / 27.8 ms52.6 (36.0) tok/s14,76588 / 288
7–88910.44 / 0.68 s1.36 / 3.90 s20.2 / 28.9 ms49.5 (34.6) tok/s16,49496 / 377

单张卡可同时处理多达 8 个请求,TTFT p90 ≤ 0.7 s,每个请求约 ~50 tok/s(最慢的 10% 约 ~35 tok/s)。对于此工作负载,应将 8 视为上限:超过此值时,515k 令牌的 KV 缓存会被填满,缓存历史会在轮次间被淘汰。报告结果时请以并发请求数为准,而非用户数或会话数。