Qwen3.6-27B 推理服务未启用张量并行时无法启动

问题描述

在两张 Ascend NPU 上将 Qwen3.6-27B 模型部署为 vLLM 推理服务时,服务可能会在启动期间失败。Pod 已创建,但 vLLM 容器未能就绪,且引擎核心退出。

日志可能包含以下一条或多条消息:

ValueError: No available memory for the cache blocks.
Try increasing `gpu_memory_utilization` when initializing the engine.
RuntimeError: NPU out of memory. Tried to allocate ... MiB

最终错误通常由 API server 报告为:

RuntimeError: Engine core initialization failed. See root cause above.

根本原因

在所选模型权重和运行时内存无法装入一张 NPU 的部署中,张量并行会将权重分配到多张 NPU 上。Qwen3.6-27B 是否需要两张或更多 NPU,取决于 dtype、量化方式和设备内存。应用此诊断之前,请确认有效的张量并行大小为 1。为 Pod 分配两张 NPU 并不会自动在 vLLM 中启用张量并行。如果省略 --tensor-parallel-size,vLLM 会使用默认的张量并行大小 1,并尝试在单张 NPU 上加载模型。

加载模型权重时,这张 NPU 可能会耗尽内存。根据初始化失败的时机,vLLM 可能会报告权重加载时发生 OOM,也可能会报告没有可用于 KV 缓存块的内存。gpu_memory_utilization 设置控制每个实例用于权重、激活值和 KV 缓存的设备内存预算;更改此设置不会将模型权重分配到多张 NPU 上,也无法解决缺少张量并行配置的问题。

解决方案

将张量并行大小设置为推理服务在节点上可见的 NPU 数量。对于请求两张 NPU 的服务,请在 vLLM 启动命令中添加以下参数:

--tensor-parallel-size=2

例如,InferenceService 规格中的相关部分如下:

spec:
  predictor:
    model:
      args:
        - --tensor-parallel-size=2
      resources:
        limits:
          huawei.com/Ascend910B4-1: '2'
        requests:
          huawei.com/Ascend910B4-1: '2'

请使用集群配置的资源键。关键要求如下:

  • Pod 必须能够在同一节点上看到两张 NPU。
  • --tensor-parallel-size 必须设置为 2。
  • 张量并行大小不得超过容器可见的 NPU 数量。

确保运行时将 model.args 传递给 vLLM(如果使用 shell 包装脚本,请保留 "$@")。如果运行时改为在 model.command 中构建启动命令,请将 --tensor-parallel-size=2 追加到现有的 vLLM 调用中。保留 Ascend 工具包初始化、模型路径解析、端口 8080、服务模型名称以及所有其他必需参数。不要将完整命令替换为精简的 vLLM 调用。

应用更新后的资源配置,并等待新版本完成滚动更新:

kubectl apply -f qwen3-6-27b.yaml -n <namespace>
kubectl get pods -n <namespace> -w

验证配置

确认服务申请了两张 NPU,并且生成的 vLLM 命令中包含张量并行参数:

kubectl get inferenceservice <inference-service-name> -n <namespace> -o yaml
kubectl get pod -n <namespace> -l serving.kserve.io/inferenceservice=<inference-service-name> -o yaml

检查 Pod 日志,并确认模型已成功加载:

kubectl logs -n <namespace> <pod-name> -c <container-name>

模型加载完成后,验证 InferenceService 报告 Ready,并能处理测试请求。Pod 处于 Running 状态本身并不能证明服务已就绪。如有需要,之后可以调整 --gpu-memory-utilization 来设置 KV 缓存容量。请勿将该参数用作 --tensor-parallel-size=2 的替代项。

如果服务仍然无法启动

添加张量并行后,请检查以下各项:

  1. 确认两张 NPU 都已调度到同一个 Pod 和节点。
  2. 检查节点上的 npu-smi info,查看其他进程或未清理的 vLLM 工作进程占用的内存。
  3. 确认运行时、模型修订版本、dtype 和量化设置与已成功测试的配置一致。
  4. 如果模型已用满两张 NPU,但仍无法分配 KV 缓存,请降低 --max-model-len 或设置更低的工作负载上限。如果仅模型权重就无法装入,请使用量化模型或更小的模型,或者增加 NPU 数量。
  5. 如果日志中包含 Failed to obtain the console log level,后面跟着 WorkerProc initialization failed,则工作进程无法打开 NPU 设备。请参阅 vLLM Ascend 工作进程无法打开 NPU 设备。

总结

对于运行在双 NPU 节点上的 Qwen3.6-27B,仅申请两张 NPU 并不足够。请将 vLLM 配置为使用 --tensor-parallel-size=2,以便将模型权重分片到两张 NPU 上。当有效 TP 大小为 1 且单张 NPU 无法容纳工作负载时,这些错误可能是由缺少张量并行设置导致的。错误也可能由其他内存相关原因引起;TP=2 并不能保证所有模型配置都能正常运行。