CodeFlare SDK 教程
本教程演示如何使用 CodeFlare SDK 针对现有 RayCluster 提交 RayJob。您将学习如何启动 Ray 集群、验证其状态、提交 RayJob 以及管理集群生命周期。
前提条件
- 您已在数据科学集群中安装
Alauda Build of KubeRay Operator集群插件,请参阅 安装 Alauda Build of KubeRay Operator。 - 您可以访问 Alauda AI Platform 中的命名空间、创建工作台,并且该工作台运行的是包含 CodeFlare SDK 的默认工作台镜像,例如 Standard Data Science notebook。有关创建工作台的信息,请参阅 创建工作台。
- 您已登录 Alauda AI Platform、启动工作台并登录 JupyterLab。
演示 Notebook
下载演示 Jupyter notebook,以跟随本教程进行操作:
- Notebook:CodeFlare SDK RayJob 演示
在 JupyterLab 页面上,点击向上箭头按钮,上传下载的 notebook 文件。
操作步骤
在 JupyterLab 中打开演示 notebook,并按照以下步骤操作。每个步骤对应 notebook 中的一个部分。
步骤 1:创建 RayCluster
运行前两个代码单元格,以导入 CodeFlare SDK 并使用 ClusterConfiguration API 创建 Ray 集群。运行前,将 image 参数更新为与您的硬件架构兼容的 Ray 集群镜像。如果您的集群无法直接访问互联网,请使用内部 registry 中的镜像。
cluster.apply() 调用会提交集群配置,并等待集群就绪。您可以根据需要调整 timeout 值。
步骤 2:验证集群状态
运行 cluster.status() 单元格。如果集群未立即启动,请再次运行该单元格几次,直到看到集群处于 Ready 状态。
步骤 3:提交 RayJob
运行 RayJob 单元格,以针对正在运行的集群创建并提交作业。请注意以下参数:
job_name:RayJob 的唯一名称。cluster_name:必须与现有 RayCluster 的名称匹配。entrypoint:要执行的命令。在标准实践中,此参数通常应指向 Python 训练脚本,而不是演示中使用的内联命令。
步骤 4:监控 RayJob
运行 rayjob.status() 单元格。此函数会根据 RayJob 的当前状态输出不同的表格。您可以多次重新运行该单元格,以观察状态变化。
步骤 5:清理
作业完成后,运行 cluster.down() 以关闭集群。
WARNING
为了实现最佳资源管理,Ray 集群不再使用后,应始终将其删除。