Alauda LeaderWorkerSet 构建版

LeaderWorkerSet

Alauda LeaderWorkerSet 构建版基于 LeaderWorkerSet (LWS) Kubernetes SIG 项目。 LeaderWorkerSet 提供 Kubernetes 原生的工作负载 API,用于以 Leader/Worker 模式部署 pod 组,使多节点分布式工作负载(尤其是大型 AI 模型训练和推理)能够作为 Kubernetes 上的一等公民运行。

主要组件和功能包括:

  • LeaderWorkerSet CRD:核心 API 资源,用于定义一组复制的 Leader/Worker pod 集。每个副本由一个 leader pod 和可配置数量的 worker pod 组成,这些 pod 会作为一个整体共同调度和管理。
  • 共同调度与拓扑感知:组内的 leader 和 worker pod 会一起调度,并支持拓扑分布约束,以便将 pod 放置在同一节点、机架或可用区,从而实现低延迟的节点间通信(例如 NVLink、InfiniBand)。
  • 多节点 LLM 推理:支持超出单节点 GPU 内存容量的大型语言模型(例如 Llama 3.1 405B)通过张量并行或流水线并行跨多个节点提供服务。对于此用例,LWS 是 Alauda AI Platform Inference Management 的必需依赖项。
  • 多节点训练:通过提供稳定、共同放置的 leader/worker pod 组,以及可预测的主机名和网络身份,支持分布式训练框架(PyTorch DDP、DeepSpeed、Megatron-LM)。
  • 滚动更新与故障恢复:支持滚动重启和在组级别自动替换 pod,确保发生故障或更新时,整个 Leader/Worker 组都能一致地重新创建。
  • 启动顺序:leader pod 可作为入口点和协调器,worker pod 会在 leader 就绪后启动,从而支持要求先初始化主进程、再连接 worker 的框架。

LWS 由 Alauda AI Platform 通过 lws 组件安装和管理,该组件位于 default AmlCluster 中。有关 Alauda AI Platform 的安装和组件配置,请参阅 安装 Alauda AI Platform。

文档

LeaderWorkerSet 上游文档和相关资源:

  • LeaderWorkerSet 文档:https://lws.sigs.k8s.io/ — 官方文档,涵盖概念、API 参考和使用指南。
  • LeaderWorkerSet GitHub:https://github.com/kubernetes-sigs/lws — LeaderWorkerSet Kubernetes SIG 项目的源代码、API 参考和示例。
  • KServe(Alauda AI Platform Inference Management):../kserve/intro — KServe 将 LeaderWorkerSet 用作多节点 LLM 推理工作负载的必需依赖项。