为 vLLM 推理服务启用 Expert Parallel

简介

本文以单节点、YAML 优先的方式,演示如何在 InferenceService 中启用 vLLM Expert Parallel(EP)。

Expert Parallel 是 vLLM 针对 Mixture-of-Experts(MoE) 模型提供的上游功能。在 vLLM 中,该功能仍处于实验性阶段,相关参数名称或默认值可能会在未来版本中发生变化。

WARNING

本文重点介绍用于开始使用 Expert Parallel 的单节点配置示例。有关性能调优、容量规划和分布式部署的详细信息,请参阅官方 vLLM 文档。

何时使用 Expert Parallel

当你提供 MoE 模型服务,并希望 vLLM 将专家层分片到各个 GPU,而不是依赖默认的专家层分组行为时,Expert Parallel 就很有用。

对于单节点部署,上游 vLLM 的模式如下:

  • 使用 --enable-expert-parallel 启用 EP。
  • 将示例限制在一个节点上。
  • 使用 --data-parallel-size 覆盖该节点上的 GPU。
  • 在本示例中使用 --tensor-parallel-size 1,这样注意力层会在数据并行 rank 之间保持副本,而不会与张量并行一起进行分片。

如果你提供的是稠密模型,或者当前运行时镜像不包含上游 vLLM 所需的 EP 相关依赖项,则本指南不适合作为起点。

前提条件和限制

  • 你可以访问已安装 KServe 的 Kubernetes 集群。
  • 你拥有一个可以创建 InferenceService 资源的命名空间。
  • 平台上已经提供可用的 vLLM 服务运行时。
  • 你使用的运行时镜像已经包含 vLLM EP 所需的上游依赖项。
  • 你的模型是 MoE 模型,并且服务已通过配置的 storageUri 访问该模型。
  • 目标节点具有多个可见 GPU。本示例使用检测到的 GPU 数量作为单节点数据并行大小。

如果当前 vLLM 镜像尚未包含所需的 EP 依赖项,请先扩展或重新构建运行时镜像。有关特定于平台的运行时自定义,请参阅扩展推理运行时。有关上游依赖项列表和后端指南,请参阅参考资料中的官方 vLLM EP 部署指南。

EP 配置概览

添加 --enable-expert-parallel 标志以启用 EP。在上游 vLLM 中,专家并行大小会自动计算:

EP_SIZE = TP_SIZE x DP_SIZE

其中:

  • TP_SIZE:张量并行大小
  • DP_SIZE:数据并行大小
  • EP_SIZE:专家并行大小,由 vLLM 自动计算

这意味着你无需设置单独的 EP 大小参数。相反,你需要选择张量并行大小和数据并行大小,然后由 vLLM 根据这些设置推导出有效的专家并行组大小。

启用 EP 时的层行为

为 MoE 模型启用 EP 后,不同的层类型会使用不同的并行策略:

层类型行为使用的并行方式
Expert(MoE)层在所有 EP rank 之间进行分片专家并行,大小为 TP x DP
注意力层行为取决于 TP_SIZE张量并行或数据并行,取决于 TP_SIZE

对于注意力层:

  • 当 TP_SIZE = 1 时,注意力权重会在所有数据并行 rank 之间保持副本。
  • 当 TP_SIZE > 1 时,注意力权重会在每个数据并行组内通过张量并行进行分片。

例如,如果 TP_SIZE = 2 且 DP_SIZE = 4,则服务总共使用 8 个 GPU:

  • Expert 层组成一个大小为 8 的 EP 组,专家分布在所有 GPU 上。
  • 注意力层会在 4 个数据并行组中的每个组内使用大小为 2 的张量并行。

与常规的数据并行部署相比,主要区别在于 MoE 层的分布方式。没有 --enable-expert-parallel 时,MoE 层会遵循张量并行分组行为。启用 EP 后,Expert 层会切换为专家并行,这种方式专门用于 MoE 风格的专家分片。

上游命令与平台映射

上游单节点示例使用的命令类似于以下内容:

vllm serve deepseek-ai/DeepSeek-V3-0324 \
  --tensor-parallel-size 1 \
  --data-parallel-size 8 \
  --enable-expert-parallel

在 Alauda AI Platform 上,这些标志通常会通过 InferenceService 容器命令传递。换句话说:

  • vllm serve ... 会成为在 spec.predictor.model.command 内启动的命令
  • --tensor-parallel-size、--data-parallel-size 和 --enable-expert-parallel 会追加到 vLLM 启动命令中
  • 模型位置、运行时名称和 Kubernetes 资源会分别通过 storageUri、runtime 和 resources 表达

因此,以下示例重点说明如何将 EP 相关标志放入平台的 InferenceService YAML 中。

配置单节点 InferenceService

创建一个 YAML 文件,例如 deepseek-v3-ep.yaml,内容如下:

apiVersion: serving.kserve.io/v1beta1
kind: InferenceService
metadata:
  annotations:
    aml-model-repo: DeepSeek-V3-0324
    serving.kserve.io/deploymentMode: Standard
  labels:
    aml.cpaas.io/runtime-type: vllm
  name: deepseek-v3-ep
  namespace: <your-namespace>
spec:
  predictor:
    minReplicas: 1
    maxReplicas: 1
    model:
      command:
        - bash
        - -c
        - |
          set -ex

          GPU_COUNT=$(python3 -c "import torch; print(torch.cuda.device_count())")
          if [ "${GPU_COUNT}" -lt 2 ]; then
            echo "Expert Parallel requires multiple visible GPUs on the same node"
            exit 1
          fi

          MODEL_PATH="/mnt/models/${MODEL_NAME}"
          if [ ! -d "${MODEL_PATH}" ]; then
            MODEL_PATH="/mnt/models"
          fi

          python3 -m vllm.entrypoints.openai.api_server \
            --port 8080 \
            --served-model-name {{.Name}} {{.Namespace}}/{{.Name}} \
            --model "${MODEL_PATH}" \
            --dtype ${DTYPE} \
            --gpu-memory-utilization ${GPU_MEMORY_UTILIZATION} \
            --tensor-parallel-size 1 \
            --data-parallel-size "${GPU_COUNT}" \
            --enable-expert-parallel
        - bash
      env:
        - name: DTYPE
          value: half
        - name: GPU_MEMORY_UTILIZATION
          value: '0.95'
        - name: MODEL_NAME
          value: '{{ index .Annotations "aml-model-repo" }}'
      modelFormat:
        name: transformers
      protocolVersion: v2
      resources:
        limits:
          cpu: '8'
          memory: 32Gi
          nvidia.com/gpu: '8'
        requests:
          cpu: '4'
          memory: 16Gi
      runtime: <your-vllm-runtime>
      storageUri: hf://<your-model-path>
    securityContext:
      seccompProfile:
        type: RuntimeDefault

应用清单:

kubectl apply -f deepseek-v3-ep.yaml -n <your-namespace>

这些标志为何重要

标志用途
--enable-expert-parallel为 MoE 模型启用 Expert Parallel。
--data-parallel-size "${GPU_COUNT}"在此单节点示例中,将节点上所有可见 GPU 用作数据并行组。
--tensor-parallel-size 1与上游示例保持一致,并使注意力层不参与张量并行分片。
TIP

调整 GPU 资源字段,使其与集群中可用的资源键以及目标节点上的 GPU 数量相匹配。此示例的重点在于将 vLLM EP 参数添加到 InferenceService 命令中的位置。如果需要显式设置 all-to-all 后端,请先参阅上游后端选择指南,再添加 --all2all-backend。

检查配置后的 Spec

应用清单后,检查生成的 InferenceService spec,并确认其中包含 EP 相关参数:

kubectl get inferenceservice deepseek-v3-ep -n <your-namespace> -o yaml

重点检查生成的 predictor 命令,并确认其中仍包含:

  • --enable-expert-parallel
  • --data-parallel-size
  • --tensor-parallel-size 1

此检查可确认预期的 vLLM 参数已应用到服务配置中。它不能验证运行时性能、后端兼容性或多节点行为。

多节点部署

多节点 EP 部署需要额外配置分布式运行时和网络,包括每个节点的启动设置、节点角色以及数据并行通信设置。

WARNING

本页重点介绍单节点配置模式。有关 Alauda AI Platform leader/worker 部署流程,请参阅 使用 llm-d 部署多节点 vLLM 服务,然后添加模型和运行时镜像支持的 EP 标志。此外,请参阅官方 vLLM 指南,了解 EP 专用的通信拓扑。

参考资料