介绍
Volcano
Alauda 对 Volcano 的支持 将 Volcano CNCF 项目打包为 Alauda Container Platform 的一个集群插件。Volcano 是面向 Kubernetes 的云原生批处理系统,为机器学习、大数据和 HPC 工作负载提供调度和资源管理能力。
主要组件和功能包括:
- Volcano scheduler:面向批处理的调度器,作为默认 Kubernetes scheduler 的补充。它支持 gang 调度、fair-share、binpack 以及分布式训练和批处理工作负载所需的其他策略。
- VolcanoJob (
batch.volcano.sh/v1alpha1):一种 job API,用于将具有不同角色(例如主节点和 worker)的任务分组,并将它们作为一个整体进行调度,从而使多 Pod 训练任务要么同时启动,要么完全不启动。 - PodGroup (
scheduling.volcano.sh/v1beta1):调度器使用的分组原语,用于跟踪属于同一逻辑 job 的多个 pod 之间的配额、队列和 gang 调度约束。 - Queue (
scheduling.volcano.sh/v1beta1):一种资源队列,按照优先级、权重和容量组织 job,从而支持按租户共享集群资源。 - JobFlow (
flow.volcano.sh/v1alpha1):对多个具有依赖关系的 VolcanoJobs 进行声明式编排,适用于诸如预处理之后进行训练的多阶段流水线。
如需在平台上安装,请参见 安装 Volcano。
文档
Volcano 上游文档及相关资源:
- Volcano 文档: https://volcano.sh/ — 官方文档,涵盖概念、scheduler 插件和使用指南。
- Volcano GitHub: https://github.com/volcano-sh/volcano — Volcano 项目的源代码、API 参考和示例。
- Kubeflow 集成:当将 Kubeflow Trainer 与 Volcano scheduler 一起使用时,在部署训练组件之前,请先安装 Alauda 对 Volcano 的支持,并在训练组件的配置中启用 Volcano scheduler 选项。