为 vLLM 推理服务启用 Expert Parallel
目录
简介何时使用 Expert Parallel前提条件和限制EP 配置概览启用 EP 时的层行为上游命令与平台映射配置单节点 InferenceService这些标志为何重要检查配置后的 Spec多节点部署参考资料简介
本文以单节点、YAML 优先的方式,演示如何在 InferenceService 中启用 vLLM Expert Parallel(EP)。
Expert Parallel 是 vLLM 针对 Mixture-of-Experts(MoE) 模型提供的上游功能。在 vLLM 中,该功能仍处于实验性阶段,相关参数名称或默认值可能会在未来版本中发生变化。
本文重点介绍用于开始使用 Expert Parallel 的单节点配置示例。有关性能调优、容量规划和分布式部署的详细信息,请参阅官方 vLLM 文档。
何时使用 Expert Parallel
当你提供 MoE 模型服务,并希望 vLLM 将专家层分片到各个 GPU,而不是依赖默认的专家层分组行为时,Expert Parallel 就很有用。
对于单节点部署,上游 vLLM 的模式如下:
- 使用
--enable-expert-parallel启用 EP。 - 将示例限制在一个节点上。
- 使用
--data-parallel-size覆盖该节点上的 GPU。 - 在本示例中使用
--tensor-parallel-size 1,这样注意力层会在数据并行 rank 之间保持副本,而不会与张量并行一起进行分片。
如果你提供的是稠密模型,或者当前运行时镜像不包含上游 vLLM 所需的 EP 相关依赖项,则本指南不适合作为起点。
前提条件和限制
- 你可以访问已安装 KServe 的 Kubernetes 集群。
- 你拥有一个可以创建
InferenceService资源的命名空间。 - 平台上已经提供可用的 vLLM 服务运行时。
- 你使用的运行时镜像已经包含 vLLM EP 所需的上游依赖项。
- 你的模型是 MoE 模型,并且服务已通过配置的
storageUri访问该模型。 - 目标节点具有多个可见 GPU。本示例使用检测到的 GPU 数量作为单节点数据并行大小。
如果当前 vLLM 镜像尚未包含所需的 EP 依赖项,请先扩展或重新构建运行时镜像。有关特定于平台的运行时自定义,请参阅扩展推理运行时。有关上游依赖项列表和后端指南,请参阅参考资料中的官方 vLLM EP 部署指南。
EP 配置概览
添加 --enable-expert-parallel 标志以启用 EP。在上游 vLLM 中,专家并行大小会自动计算:
其中:
TP_SIZE:张量并行大小DP_SIZE:数据并行大小EP_SIZE:专家并行大小,由 vLLM 自动计算
这意味着你无需设置单独的 EP 大小参数。相反,你需要选择张量并行大小和数据并行大小,然后由 vLLM 根据这些设置推导出有效的专家并行组大小。
启用 EP 时的层行为
为 MoE 模型启用 EP 后,不同的层类型会使用不同的并行策略:
对于注意力层:
- 当
TP_SIZE = 1时,注意力权重会在所有数据并行 rank 之间保持副本。 - 当
TP_SIZE > 1时,注意力权重会在每个数据并行组内通过张量并行进行分片。
例如,如果 TP_SIZE = 2 且 DP_SIZE = 4,则服务总共使用 8 个 GPU:
- Expert 层组成一个大小为 8 的 EP 组,专家分布在所有 GPU 上。
- 注意力层会在 4 个数据并行组中的每个组内使用大小为 2 的张量并行。
与常规的数据并行部署相比,主要区别在于 MoE 层的分布方式。没有 --enable-expert-parallel 时,MoE 层会遵循张量并行分组行为。启用 EP 后,Expert 层会切换为专家并行,这种方式专门用于 MoE 风格的专家分片。
上游命令与平台映射
上游单节点示例使用的命令类似于以下内容:
在 Alauda AI Platform 上,这些标志通常会通过 InferenceService 容器命令传递。换句话说:
vllm serve ...会成为在spec.predictor.model.command内启动的命令--tensor-parallel-size、--data-parallel-size和--enable-expert-parallel会追加到 vLLM 启动命令中- 模型位置、运行时名称和 Kubernetes 资源会分别通过
storageUri、runtime和resources表达
因此,以下示例重点说明如何将 EP 相关标志放入平台的 InferenceService YAML 中。
配置单节点 InferenceService
创建一个 YAML 文件,例如 deepseek-v3-ep.yaml,内容如下:
应用清单:
这些标志为何重要
调整 GPU 资源字段,使其与集群中可用的资源键以及目标节点上的 GPU 数量相匹配。此示例的重点在于将 vLLM EP 参数添加到 InferenceService 命令中的位置。如果需要显式设置 all-to-all 后端,请先参阅上游后端选择指南,再添加 --all2all-backend。
检查配置后的 Spec
应用清单后,检查生成的 InferenceService spec,并确认其中包含 EP 相关参数:
重点检查生成的 predictor 命令,并确认其中仍包含:
--enable-expert-parallel--data-parallel-size--tensor-parallel-size 1
此检查可确认预期的 vLLM 参数已应用到服务配置中。它不能验证运行时性能、后端兼容性或多节点行为。
多节点部署
多节点 EP 部署需要额外配置分布式运行时和网络,包括每个节点的启动设置、节点角色以及数据并行通信设置。
本页重点介绍单节点配置模式。有关 Alauda AI Platform leader/worker 部署流程,请参阅 使用 llm-d 部署多节点 vLLM 服务,然后添加模型和运行时镜像支持的 EP 标志。此外,请参阅官方 vLLM 指南,了解 EP 专用的通信拓扑。