Qwen3.6-27B 推理服务未启用张量并行时无法启动
问题描述
在两张 Ascend NPU 上将 Qwen3.6-27B 模型部署为 vLLM 推理服务时,服务可能会在启动期间失败。Pod 已创建,但 vLLM 容器未能就绪,且引擎核心退出。
日志可能包含以下一条或多条消息:
最终错误通常由 API server 报告为:
根本原因
在所选模型权重和运行时内存无法装入一张 NPU 的部署中,张量并行会将权重分配到多张 NPU 上。Qwen3.6-27B 是否需要两张或更多 NPU,取决于 dtype、量化方式和设备内存。应用此诊断之前,请确认有效的张量并行大小为 1。为 Pod 分配两张 NPU 并不会自动在 vLLM 中启用张量并行。如果省略 --tensor-parallel-size,vLLM 会使用默认的张量并行大小 1,并尝试在单张 NPU 上加载模型。
加载模型权重时,这张 NPU 可能会耗尽内存。根据初始化失败的时机,vLLM 可能会报告权重加载时发生 OOM,也可能会报告没有可用于 KV 缓存块的内存。gpu_memory_utilization 设置控制每个实例用于权重、激活值和 KV 缓存的设备内存预算;更改此设置不会将模型权重分配到多张 NPU 上,也无法解决缺少张量并行配置的问题。
解决方案
将张量并行大小设置为推理服务在节点上可见的 NPU 数量。对于请求两张 NPU 的服务,请在 vLLM 启动命令中添加以下参数:
例如,InferenceService 规格中的相关部分如下:
请使用集群配置的资源键。关键要求如下:
- Pod 必须能够在同一节点上看到两张 NPU。
--tensor-parallel-size必须设置为2。- 张量并行大小不得超过容器可见的 NPU 数量。
确保运行时将 model.args 传递给 vLLM(如果使用 shell 包装脚本,请保留 "$@")。如果运行时改为在 model.command 中构建启动命令,请将 --tensor-parallel-size=2 追加到现有的 vLLM 调用中。保留 Ascend 工具包初始化、模型路径解析、端口 8080、服务模型名称以及所有其他必需参数。不要将完整命令替换为精简的 vLLM 调用。
应用更新后的资源配置,并等待新版本完成滚动更新:
验证配置
确认服务申请了两张 NPU,并且生成的 vLLM 命令中包含张量并行参数:
检查 Pod 日志,并确认模型已成功加载:
模型加载完成后,验证 InferenceService 报告 Ready,并能处理测试请求。Pod 处于 Running 状态本身并不能证明服务已就绪。如有需要,之后可以调整 --gpu-memory-utilization 来设置 KV 缓存容量。请勿将该参数用作 --tensor-parallel-size=2 的替代项。
如果服务仍然无法启动
添加张量并行后,请检查以下各项:
- 确认两张 NPU 都已调度到同一个 Pod 和节点。
- 检查节点上的
npu-smi info,查看其他进程或未清理的 vLLM 工作进程占用的内存。 - 确认运行时、模型修订版本、dtype 和量化设置与已成功测试的配置一致。
- 如果模型已用满两张 NPU,但仍无法分配 KV 缓存,请降低
--max-model-len或设置更低的工作负载上限。如果仅模型权重就无法装入,请使用量化模型或更小的模型,或者增加 NPU 数量。 - 如果日志中包含
Failed to obtain the console log level,后面跟着WorkerProc initialization failed,则工作进程无法打开 NPU 设备。请参阅 vLLM Ascend 工作进程无法打开 NPU 设备。
总结
对于运行在双 NPU 节点上的 Qwen3.6-27B,仅申请两张 NPU 并不足够。请将 vLLM 配置为使用 --tensor-parallel-size=2,以便将模型权重分片到两张 NPU 上。当有效 TP 大小为 1 且单张 NPU 无法容纳工作负载时,这些错误可能是由缺少张量并行设置导致的。错误也可能由其他内存相关原因引起;TP=2 并不能保证所有模型配置都能正常运行。